L’ habitude de vérifier — savoir quand Claude est incorrect

Working with Claude — CC BY 4.0

La leçon 1.4 a modifié ce que dit Claude : étiqueter chaque affirmation, limiter les suppositions, assumer les entorses aux règles. Cette leçon porte sur ce que vous faites des résultats obtenus. Car la machine se trompe aussi facilement dans l’étiquetage que dans l’énoncé — une affirmation marquée [KNOWN] peut tout de même être erronée. Les étiquettes ne rendent pas Claude fiable. Elles le rendent vérifiable. La vérification est l’habitude qui transforme « vérifiable » en « vérifié ».

C’est là tout l’intérêt de ce cours. Il ne s’agit pas d’aller plus vite, mais d’être capable de se fier au résultat. Cela n’est possible que si le dernier regard porté sur une réponse est le vôtre.

Commencez par lire les balises, pas le ton

Claude sonne tout aussi fluide, qu’elle soit correcte ou fausse. La fluidité n’est pas une preuve. Alors avant de réagir à la façon dont une réponse se lit, examinez les balises que vous avez demandées au point 1.4 :

• Tout ce qui est balisé [GUESS], ou une affirmationde type [FRAME] déguisée en conseil pratique — considérez-le comme un indice à vérifier, jamais comme une conclusion.
• [INFERRED] — une chaîne de raisonnement. Les chaînes se brisent. Vérifiez les maillons, pas seulement la conclusion.
• [KNOWN] et [COMMON] — généralement solides, mais ce sont précisément les affirmations qui sont énoncées avec le plus de confiance et le moins de réserves ; c’est donc là qu’une affirmation erronée cause le plus de dégâts.
• [COMPUTED] — refaites le calcul vous-même. Les modèles linguistiques ont du mal avec l’arithmétique, et un chiffre erroné peut paraître aussi correct qu’un chiffre exact.

Si une affirmation ne comporte aucune référence et qu’elle est importante, c’est le signe qu’il faut en demander une avant d’aller plus loin.

Demandez la source, puis consultez-la réellement

Pour tout ce sur quoi vous comptez vous appuyer — une loi, un dosage, une citation, le nom d’une personne, un chiffre que vous présenterez à quelqu’un d’autre — demandez clairement :

Quelle est votre source pour cela ? Donnez-moi le document ou la page précise, pas une vague référence.

Deux cas de figure se présentent. Parfois, Claude ne peut pas en fournir une, ce qui vous indique que l’affirmation repose sur un schéma plutôt que sur des faits — dégradez-la. Parfois, il fournit une source qui, lorsque vous l’ouvrez, dit quelque chose de différent. « N’inventez jamais de citations » était une règle de la version 1.4 ; c’est à vous de la faire respecter. Une source que vous n’avez pas ouverte n’est pas vraiment une source, mais simplement une affirmation à son sujet.

Si la recherche sur le Web est activée dans l’application Claude, Claude peut effectuer des recherches en temps réel et citer les URL utilisées, et vous pouvez cliquer directement pour les vérifier. (La recherche sur le Web est un bouton à bascule dans l’application ; vérifiez son emplacement exact et son fonctionnement dans l’application ou dans la documentation actuelle, car l’ interface évolue d’une mise à jour à l’autre.) Notez la différence : lorsque la recherche est activée, vous obtenez de vrais liens à ouvrir ; en vous basant uniquement sur la mémoire d’apprentissage, vous obtenez un rappel, d’où proviennent les citations inventées. Lorsque cela a de l’importance, privilégiez la version sur laquelle vous pouvez cliquer.

Repérer les réponses « sûres mais fausses »

La réponse dangereuse est celle qui semble sûre d’elle — fluide, précise, faisant autorité, et fausse. Quelques indices à retenir :

• Une fausse précision. Des dates exactes, des numéros de section, des pourcentages et des citations qui semblent trop parfaits. La précision est facile à générer et donne une impression d’autorité. Vérifiez d’abord les détails — ce sont les éléments les plus citables et les plus susceptibles d’être erronés avec assurance.
• Une théorie bien ficelée qui explique tout. Les situations réelles sont plus complexes. Si la réponse est d’une élégance suspecte, c’est un signal d’alarme qui vous invite à creuser, et non à vous relâcher.
• Capitulation immédiate, ou confrontation immédiate. Si Claude change d’avis dès que vous le contredisez — ou réplique par réflexe alors que vous avez clairement raison —, c’est que sa position n’était fondée sur rien. Demandez-lui pourquoi il a changé d’avis. « Pas de raison particulière » sera sa réponse.

Une petite vérification : posez la même question d’une autre manière, ou dans une nouvelle conversation sans cadre suggestif, et voyez si la réponse tient la route. Si les deux versions divergent, au moins l’une d’elles est fausse et vous avez trouvé la faille à exploiter.

Le test « Cela aurait-il permis de le prévoir à l’avance ? »

Celui-ci vaut la peine d’être gardé à l’esprit pour le reste de votre vie, bien au-delà de Claude. Lorsqu’on vous donne une explication — pourquoi un marché a évolué, pourquoi une personne s’est comportée ainsi, pourquoi un projet a échoué — demandez :

Cette explication aurait-elle permis de prédire le résultat avant qu ’il ne se produise, ou ne s’applique-t-elle qu’après coup, maintenant que nous connaissons l’issue ?

Une explication qui ne prend tout son sens qu’après coup ne prédit rien ; elle adapte l’histoire au résultat. Au paragraphe 1.4, vous avez demandé à Claude de signaler ces cas comme [INFERRED, post-hoc] — « explique mais ne prédit pas ». Ici, vous appliquez le même test à tout ce qu’il vous renvoie, et à votre propre raisonnement tant que vous y êtes. Le recul déguisé en perspicacité est l’erreur la plus confortable qui soit.

D’où vient cette habitude

Vous n’appliquez pas la procédure complète à chaque réponse — ce serait épuisant et inutile pour une conversation sans enjeu. Vous l’appliquez proportionnellement au coût d’une mauvaise réponse. Question anodine : jetez un coup d’œil aux balises et passez à autre chose. Pour quelque chose qui va vous amener à agir, à dépenser de l’argent ou à y associer votre nom , vérifiez la source, refaites les calculs, recoupez les informations une fois, appliquez le test a posteriori.

Cette proportionnalité, c’est ça le savoir-faire. Claude rédige ; c’est vous qui décidez ce qui est vrai. Le résultat vous appartient — vous l’avez orienté, vous l’avez relu, vous en êtes responsable. Un outil sur lequel on peut compter n’est pas celui qui ne se trompe jamais. C’est celui pour lequel vous avez pris l’habitude de repérer les erreurs.

Lectures complémentaires

• Réduire les « hallucinations » — les conseils de Anthropic pour vérifier les résultats de Claude.