Quel modèle — et quand le niveau supérieur fait ses preuves

Working with Claude — CC BY 4.0

De temps à autre, un modèle plus puissant fait son apparition, et vous devez décider si votre travail justifie cet investissement — le haut de gamme — ou si un modèle moins cher fera tout aussi bien l’affaire. La plupart des gens prennent cette décision de l’une des deux manières suivantes, qui sont toutes deux peu judicieuses.

La première consiste à « toujours utiliser le meilleur ». C ’ est confortable, coûteux, et cela ne vous apprend rien sur la manière dont votre argent est réellement mis à profit. La seconde repose sur une « intuition »: la tâche semble difficile, donc on opte pour le modèle haut de gamme. Le problème, c’est que la perception de la difficulté d’une tâche ne correspond guère au type spécifique de difficulté qu’un modèle plus puissant permet réellement de résoudre. La plupart des tâches ne sont pas du tout limitées par les capacités du modèle ; elles sont limitées par un brief vague ou des données d’entrée incohérentes — et un modèle plus grand ne peut remédier à aucun de ces deux problèmes.

Il existe une meilleure approche, et c’est la même discipline que ce cours enseigne, orientée vers une nouvelle décision : évaluer la tâche en fonction des caractéristiques qui justifient véritablement l’utilisation d’un modèle plus puissant, et n’opter pour le modèle haut de gamme que lorsque ces caractéristiques sont présentes.

Quand un modèle plus puissant juste sa place

Un petit ensemble de caractéristiques de la tâche récompense de manière fiable la capacité. Évaluez chacune séparément — une approche mixte du type « dans quelle mesure le grand modèle serait-il utile ? » ne fait qu’inviter à nouveau les intuitions à prendre le dessus.

• L’effet de levier du raisonnement. De longues chaînes où une erreur précoce empoisonne discrètement tout ce qui suit ; des problèmes comportant de nombreuses contraintes qui interagissent simultanément. Si une erreur à l’étape 2 corrompt l’étape 14, le niveau de performance a son importance.
• Effet de levier en matière de synthèse et de recherche. Concilier des sources contradictoires ; lecture antagoniste — trouver ce qu’un document omet, et pas seulement résumer ce qu’il dit. Les modèles plus faibles résument ; les plus puissants repèrent l’élément manquant de l’argumentation.
• Profondeur stratégique. Travail où une réponse médiocre n’est pas fausse, mais simplement superficielle — une analyse qui est exacte mais passe à côté du cadre qui aurait pu changer votre décision. La superficialité passe une vérification rapide mais vous coûte cher dans le monde réel, ce qui est exactement la raison pour laquelle cela vaut la peine de payer pour l’éviter.

Et deux éléments qui ne relèvent pas du niveau du modèle, même si l’on a souvent tendance, à tort, à se tourner vers un modèle plus complexe pour y remédier :

• Inventer des choses. Évaluez le coût d’une affirmation fabriquée de toutes pièces — mais ne considérez pas le niveau supérieur comme la solution miracle. Les hallucinations sont maîtrisées par l’ancrage: fournir des sources au modèle, exiger des références et garder un œil sur le résultat (Leçon 1.4). Un cadre qui suggère que « le grand modèle n’inventera pas de choses » enseigne une mauvaise habitude.
• Biais. Un modèle plus puissant ne produit pas systématiquement des résultats plus équitables. Si le principal risque d’une tâche réside dans un résultat biaisé, les solutions se trouvent dans le processus — des sources diversifiées, un contre-argument explicite, une révision par des personnes qui auraient un point de vue différent — et non dans le prix du modèle.

L’axe concernant votre matériel, et non le modèle

Un axe supplémentaire, qui évalue vos données d’entrée plutôt que la tâche : la maturité. Dans quelle mesure la tâche est-elle bien spécifiée, et dans quelle mesure les données que vous pouvez fournir au modèle sont-elles propres ? Une tâche brillamment adaptée aux capacités du modèle, mais accompagnée d’un cahier des charges vague et de documents sources contradictoires, engendre une confusion coûteuse, et non de l’excellence. La « readiness » vous indique si la tâche est prête pour n’importe quel modèle — et, parmi des candidats d’égale qualité, privilégiez d’abord ceux dont les données d’entrée sont claires.

Ensuite, c’est une simple question d’économie : un rapport ponctuel ne se soucie guère de la tarification par niveau ; une tâche que vous exécutez tous les jours la rend plus coûteuse.

La règle qui garantit l’ honnêteté

C’est la colonne vertébrale de la formation, appliquée à une nouvelle décision : chaque jugement s’appuie sur quelque chose. Lorsque vous ne disposez pas d’éléments suffisants pour noter une tâche, la bonne réponse est un signal d’alerte — « informations insuffisantes ; voici ce dont j’aurais besoin » — jamais une supposition assurée déguisée en verdict. L’échec de tout triage réside dans un tableau de notes fluide qui ne repose sur rien. Vous exigez déjà des preuves de la part de Claude ; exigez-les également pour la décision concernant le choix du Claude à utiliser.

Désigner le niveau — avec soin

Au moment où nous écrivons ces lignes, le modèle le plus performant de Anthropic disponible au grand public est le Claude Fable 5, qui se situe au-dessus des niveaux Opus, Sonnet et Haiku. Mais c’est précisément le genre d’information qui devient rapidement obsolète : les noms de modèles, les capacités et les prix changent souvent. La seule affirmation sur laquelle il vaut la peine de s’appuyer est celle qui perdure : un niveau supérieur est plus performant que ceux qui le précèdent. Pour toute information plus précise — ce qui est d’actualité, ce que cela coûte —, consultez les pages dédiées à Anthropic (anthropic.com/news, docs.claude.com) plutôt que de vous fier à un modèle ou à cette page, de mémoire. Refuser de fonder une décision sur une affirmation non vérifiée est la première leçon de l’ensemble du cours, et non une simple note de bas de page de celle-ci.

La démarche

Une tâche est candidate au niveau supérieur lorsqu’elle obtient un score élevé dans au moins deux des domaines suivants : raisonnement, synthèse et profondeur stratégique. Une forte exposition aux hallucinations ne suffit pas à elle seule — c’est un travail de mise à niveau, pas une tâche de niveau supérieur. Dites clairement « ça n’en vaut pas la peine » lorsque c’est vrai ; la plupart des tâches n’ont pas besoin du niveau supérieur.

Et ce triage est une hypothèse, pas un verdict. Pour votre meilleur candidat, la prochaine étape logique est peu coûteuse : exécutez la tâche une fois à votre niveau actuel et une fois au niveau supérieur, puis comparez vous-même les deux résultats. Le triage vous indique où cette expérience vaut le coût ; l’expérience vous révèle la vérité.

Pour en savoir plus

• Anthropic — aperçu des modèles — la gamme actuelle de modèles, leurs capacités et leurs tarifs (vérifiez ici, ne vous fiez pas à votre mémoire).
• Anthropic — actualités — annonces de nouveaux modèles et changements apportés.

Fiche imprimable : le guide de triage des modèles — un guide prêt à copier-coller qui évalue une liste de vos tâches selon ces critères, cite ses sources et signale ce qu’il n’a pas pu vérifier.