De gewoonte om te controleren — herkennen wanneer Claude fout is

Working with Claude — CC BY 4.0

Les 1.4 heeft de betekenis van Claude veranderd: geef elke bewering een label, beperk het aantal gissingen, neem verantwoordelijkheid voor het overtreden van de regels. Deze les gaat over wat je doet met wat er terugkomt. Omdat de machine net zo gemakkelijk verkeerd labelt als dat hij fouten maakt — een bewering met het label [KNOWN] kan nog steeds fout zijn. De labels maken Claude niet betrouwbaar. Ze maken het controleerbaar. Verificatie is de gewoonte die ‘controleerbaar’ omzet in ‘gecontroleerd’.

Hier ligt de kern van de cursus. Niet sneller gaan — maar kunnen vertrouwen op de output. Dat gebeurt alleen als de laatste ogen die een antwoord controleren, die van jou zijn.

Begin met het lezen van de tags, niet van de toon

Claude klinkt even vloeiend, of het nu juist is of niet. Vloeiendheid is geen bewijs. Dus voordat je reageert op hoe een antwoord klinkt, kijk dan naar de labels waar je in 1.4 om hebt gevraagd:

• Alles met de tag [GUESS], of een [FRAME]- bewering die is vermomd als praktisch advies — behandel dit als een aanwijzing om te controleren, nooit als een bevinding.
• [INFERRED] — een redeneringsketen. Kettingen kunnen breken. Controleer de schakels, niet alleen de conclusie.
• [KNOWN] en [COMMON] — meestal degelijk, maar dit zijn precies de beweringen die met het meeste zelfvertrouwen en de minste voorbehouden worden geformuleerd, dus juist hier richt een fout de meeste schade aan.
• [COMPUTED] — reken de som zelf nog eens na. Taalmodellen zijn niet zo goed in rekenen, en een verkeerd getal ziet er net zo netjes uit als een juist getal.

Als een bewering geen bronvermelding heeft en het is belangrijk, dan is dat je signaal om erom te vragen voordat je verdergaat.

Vraag naar de bron, en open die dan ook daadwerkelijk

Voor alles waarop je je baseert — een wet, een dosering, een bronvermelding, een met naam genoemde persoon, een cijfer dat je aan iemand anders laat zien — vraag dan duidelijk:

Wat is je bron daarvoor? Geef me het specifieke document of de specifieke pagina, geen algemeen gebied.

Er gebeuren twee dingen. Soms kan Claude er geen overleggen, wat aangeeft dat de bewering is gebaseerd op een patroon in plaats van op feiten — verlaag de waarde ervan. Soms levert het een bron op die, wanneer je die opent, iets anders zegt. ‘Verzin nooit bronvermeldingen ’ was een regel in 1.4; dit is hoe je die handhaaft. Een bron die je niet hebt geopend, is niet echt een bron, maar slechts een bewering over een bron.

Als de webzoekfunctie is ingeschakeld in de Claude-app, kan Claude dingen live opzoeken en de gebruikte URL’s vermelden, en kun je er direct op doorklikken om ze te controleren. (Webzoekfunctie is een schakelaar in de app; controleer de exacte positie en werking ervan in de app of in de huidige documentatie, aangezien de interface bij updates verandert.) Let op het verschil: met de zoekfunctie ingeschakeld krijg je echte links om te openen; als je alleen vanuit je trainingsgeheugen werkt, krijg je herinneringen, en daar komen verzonnen bronvermeldingen vandaan. Als het erop aankomt, geef dan de voorkeur aan de versie waarop je kunt klikken.

Zelfverzekerd maar fout herkennen

Het gevaarlijke antwoord is het antwoord dat zelfverzekerd klinkt — vloeiend, specifiek, gezaghebbend en onjuist. Een paar signalen om te herkennen:

• Valse precisie. Exacte datums, paragraafnummers, percentages en citaten die te netjes aanvoelen. Specificiteit is gemakkelijk te genereren en komt autoritair over. Controleer eerst de details — die zijn het meest citeerbaar en hebben de grootste kans om vol vertrouwen onjuist te zijn.
• Eén keurige theorie die alles verklaart. Echte situaties zijn rommeliger. Als het antwoord verdacht elegant is, is dat een aanleiding om door te vragen, niet om je te ontspannen.
• Onmiddellijk toegeven, of onmiddellijk in de aanval gaan. Als Claude zijn standpunt omgooit op het moment dat je tegenspreekt — of uit reflex in discussie gaat terwijl je duidelijk gelijk hebt — dan was dat standpunt nooit ergens op gebaseerd. Vraag waarom het is veranderd. „Geen echte reden“ is het antwoord.

Een snelle kruiscontrole: stel dezelfde vraag op een andere manier, of in een nieuw gesprek zonder sturende vragen, en kijk of het antwoord standhoudt. Als de twee versies niet overeenkomen, is er ten minste één fout en heb je de zwakke plek gevonden om verder te graven.

De ‘zou dit het van tevoren hebben voorspeld’-test

Deze test is de moeite waard om je de rest van je leven te onthouden, ver na Claude. Wanneer je een verklaring krijgt — waarom een markt bewoog, waarom iemand zich zo gedroeg, waarom een project mislukte — vraag dan:

Zou deze verklaring de uitkomst hebben voorspeld voordat deze zich voordeed, of past ze alleen nu we weten hoe het is afgelopen?

Een verklaring die pas achteraf op zijn plaats valt, voorspelt niets; het past het verhaal aan het resultaat aan. In 1.4 heb je Claude opgedragen deze te markeren als [INFERRED, post-hoc] – verklaart maar voorspelt niet. Hier pas je dezelfde toets toe op alles wat het teruggeeft, en terwijl je toch bezig bent, ook op je eigen redenering. Achterafwijsheid vermomd als inzicht is de meest comfortabele fout die er bestaat.

Waar de gewoonte zit

Je voert niet bij elk antwoord de volledige controle uit — dat zou uitputtend en zinloos zijn voor een onbelangrijk gesprek. Je past de controle aan aan wat een verkeerd antwoord zou kosten. Een informele vraag: kijk even naar de tags en ga verder. Iets waar je actie op onderneemt, geld aan uitgeeft of je naam aan verbindt — controleer de bron, reken de cijfers nog eens na, controleer het een keer, pas de achteraf-test toe.

Die evenredigheid is de vaardigheid. Claude stelt voorstellen op; jij beslist wat waar is. Het resultaat is van jou — jij hebt het gestuurd, je hebt het gecontroleerd, jij bent er verantwoordelijk voor. Een hulpmiddel waarop je kunt vertrouwen, is niet een dat nooit fout zit. Het is er een waarbij je de gewoonte hebt opgebouwd om fouten op te sporen.

Meer lezen

• Verminder hallucinaties — Anthropic’s eigen richtlijnen voor het controleren van de uitvoer van Claude.