Die Gewohnheit der Überprüfung – erkennen, wann Claude falsch ist

Working with Claude – CC BY 4.0

Lektion 1.4 hat die Aussage von Claude geändert: Jede Behauptung kennzeichnen, die Vermutungen begrenzen, Regelverstöße anerkennen. In dieser Lektion geht es darum, was man mit den Rückmeldungen macht. Denn die Maschine kennzeichnet genauso leicht falsch, wie sie falsche Aussagen liefert – eine mit [KNOWN] gekennzeichnete Behauptung kann immer noch falsch sein. Die Kennzeichnungen machen Claude nicht zuverlässig. Sie machen es überprüfbar. Überprüfung ist die Gewohnheit, die „überprüfbar“ in „überprüft“ verwandelt.

Genau darin liegt der Sinn des Kurses. Nicht darin, schneller zu sein – sondern darin, sich auf das Ergebnis verlassen zu können. Das geschieht nur, wenn das letzte Paar Augen, das eine Antwort überprüft, dein eigenes ist.

Fang damit an, die Tags zu lesen, nicht den Tonfall

Claude klingt gleich flüssig, egal ob es richtig oder falsch ist. Flüssigkeit ist kein Beweis. Bevor du also darauf reagierst, wie sich eine Antwort liest, schau dir die Kennzeichnungen an, um die du in 1.4 gebeten hast:

• Alles, was mit [GUESS] gekennzeichnet ist, oder eine [FRAME]-Behauptung, die als praktischer Ratschlag getarnt ist – behandle es als Anhaltspunkt für eine Überprüfung, niemals als Ergebnis.
• [INFERRED] – eine Argumentationskette. Ketten reißen. Überprüfe die Glieder, nicht nur die Schlussfolgerung.
• [KNOWN] und [COMMON] – in der Regel solide, aber genau diese Behauptungen werden mit der größten Zuversicht und den wenigsten Vorbehalten vorgebracht; daher richten sie den größten Schaden an, wenn sie falsch sind.
• [COMPUTED] – Rechne die Summe selbst noch einmal nach. Sprachmodelle sind in der Arithmetik unzuverlässig, und eine falsche Zahl sieht genauso ordentlich aus wie eine richtige.

Wenn eine Behauptung keine Quellenangabe enthält und sie von Bedeutung ist, ist das Ihr Signal, nach einer zu fragen, bevor Sie weitermachen.

Frage nach der Quelle, und öffne sie dann tatsächlich

Bei allem, worauf du dich stützen wirst – einem Gesetz, einer Dosierung, einem Zitat, einer namentlich genannten Person, einer Zahl, die du jemand anderem vorlegst – frag ganz direkt:

Was ist deine Quelle dafür? Nenne mir das konkrete Dokument oder die Seite, nicht nur einen allgemeinen Bereich.

Zwei Dinge passieren. Manchmal kann Claude keine Quelle vorweisen, was dir zeigt, dass die Behauptung eher auf einem Muster als auf Fakten beruhte – stufe sie herab. Manchmal wird eine Quelle angegeben, die, wenn man sie öffnet, etwas anderes aussagt. „Erfinde niemals Quellenangaben“ war eine Regel in 1.4; hier setzt du sie durch. Eine Quelle, die du nicht geöffnet hast, ist keine echte Quelle, sondern nur eine Behauptung darüber.

Wenn die Websuche in der Claude-App aktiviert ist, kann Claude Dinge in Echtzeit nachschlagen und die verwendeten URLs angeben, und du kannst direkt darauf klicken, um sie zu überprüfen. (Die Websuche ist ein Schalter in der App; überprüfe ihre genaue Position und Funktionsweise in der App oder in der aktuellen Dokumentation, da sich die Benutzeroberfläche bei Updates ändern kann.) Beachte den Unterschied: Bei aktivierter Suche erhältst du echte Links zum Öffnen; arbeitest du allein aus dem Trainingsgedächtnis, erhältst du eine Erinnerung – und genau daraus entstehen erfundene Quellenangaben. Wenn es darauf ankommt, zieh die Version vor, auf die du klicken kannst.

Selbstbewusste, aber falsche Aussagen erkennen

Die gefährliche Antwort ist die, die selbstbewusst klingt – flüssig, konkret, autoritär und falsch. Ein paar Anzeichen, auf die man achten sollte:

• Falsche Präzision. Genaue Datumsangaben, Abschnittsnummern, Prozentsätze und Zitate, die zu ordentlich wirken. Konkrete Angaben lassen sich leicht erzeugen und wirken autoritär. Überprüfe zuerst die Einzelheiten – sie sind am zitierfähigsten und am ehesten selbstbewusst falsch.
• Eine schlichte Theorie, die alles erklärt. Reale Situationen sind chaotischer. Wenn die Antwort verdächtig elegant ist, ist das ein Anlass zum Nachhaken, nicht zum Entspannen.
• Sofortiges Einlenken oder sofortiger Streit. Wenn Claude seine Position in dem Moment ändert, in dem du widersprichst – oder reflexartig argumentiert, obwohl du eindeutig Recht hast –, war die Position nie wirklich fundiert. Frage nach,warum sie sich geändert hat. „Kein wirklicher Grund“ ist die Antwort.

Eine schnelle Gegenprüfung: Stelle dieselbe Frage auf eine andere Art und Weise oder in einem neuen Gespräch ohne suggestive Einleitung und schau, ob die Antwort Bestand hat. Wenn die beiden Versionen voneinander abweichen, ist mindestens eine falsch und du hast die Schwachstelle gefunden, an der du nachhaken kannst.

Der „Hätte das dies im Voraus vorhergesagt?“-Test

Diesen Test solltest du dir für den Rest deines Lebens merken, weit über Claude hinaus. Wenn dir eine Erklärung präsentiert wird – warum sich ein Markt bewegt hat, warum sich eine Person so verhalten hat, wie sie es tat, warum ein Projekt gescheitert ist –, frag:

Hätte diese Erklärung das Ergebnis vorhergesagt, bevor es passierte, oder passt sie erst jetzt, da wir wissen, wie es ausgegangen ist?

Eine Erklärung, die erst im Nachhinein Sinn ergibt, sagt nichts voraus; sie passt die Geschichte an das Ergebnis an. In 1.4 hast du Claude angewiesen, diese als [INFERRED, post-hoc] zu kennzeichnen – erklärt, sagt aber nichts voraus. Hier wendest du denselben Test auf alles an, was es zurückgibt, und gleichzeitig auch auf deine eigene Argumentation. Nachträgliche Einsicht, getarnt als Erkenntnis, ist der bequemste Irrtum, den es gibt.

Wo die Gewohnheit sitzt

Man führt nicht bei jeder Antwort die vollständige Überprüfung durch – das wäre anstrengend und bei Chats mit geringem Einsatz sinnlos. Man wendet sie proportional zu den Kosten an, die eine falsche Antwort verursachen würde. Bei einer beiläufigen Frage wirft man einen Blick auf die Tags und macht weiter. Etwas, auf das du dich einlässt, für das du Geld ausgibst oder unter das du deinen Namen setzt – überprüfe die Quelle, rechne die Zahlen noch einmal nach, führe eine Gegenprüfung durch und wende den Rückblick-Test an.

Diese Verhältnismäßigkeit ist die Kunst. Claude entwirft; du entscheidest, was wahr ist. Das Ergebnis gehört dir – du hast es gesteuert, du hast es überprüft, du stehst dahinter. Ein Werkzeug, auf das du dich verlassen kannst, ist nicht eines, das niemals falsch liegt. Es ist eines, bei dem du dir die Gewohnheit angeeignet hast, Fehler zu erkennen.

Weiterführende Literatur

• Reduziere „Halluzinationen“ – Anthropic’ eigene Anleitung zur Überprüfung der Ergebnisse von Claude.