Welk model — en wanneer het hoogste niveau zijn geld waard is

Working with Claude — CC BY 4.0

Af en toe verschijnt er een krachtiger model, en dan moet je beslissen of je werk het rechtvaardigt — het topmodel, of dat een goedkoper exemplaar het werk net zo goed doet. De meeste mensen beslissen dit op een van de twee manieren, en beide zijn slecht.

De eerste is „gebruik altijd het beste“. Comfortabel, duur, en het leert je niets over waar het geld daadwerkelijk resulteert in werk. De tweede is „gevoel“ — de taak voelt moeilijkaan, dus krijgt die het grote model. Het probleem is dat hoe moeilijk een taak aanvoelt, slecht correleert met het specifieke soort moeilijkheid dat een sterker model daadwerkelijk oplost. De meeste taken worden helemaal niet beperkt door de capaciteit van het model; ze worden beperkt door een vage opdrachtomschrijving of rommelige input — en een groter model kan geen van beide oplossen.

Er is een betere manier, en het is dezelfde discipline die in deze hele cursus wordt onderwezen, gericht op een nieuwe beslissing: beoordeel de taak op de kenmerken die een sterker model daadwerkelijk belonen, en betaal alleen voor het hoogste niveau wanneer die kenmerken aanwezig zijn.

Waar een sterker model zijn geld waard is

Een kleine set taakkenmerken beloont betrouwbaar de capaciteit. Beoordeel elk afzonderlijk — een gemengde benadering van „in hoeverre zou het grote model helpen?“ nodigt alleen maar uit tot subjectieve beoordelingen.

• Redeneringskracht. Lange ketens waarin een vroege fout stilletjes alles stroomafwaarts verpest; problemen met veel op elkaar inwerkende beperkingen tegelijk. Als een fout in stap 2 stap 14 verpest, is het niveau van belang.
• Synthese en onderzoek. Het verzoenen van bronnen die het oneens zijn; adversariaal lezen — ontdekken wat een document weglaat, niet alleen samenvatten wat erin staat. Zwakkere modellen vatten samen; sterkere modellen merken het ontbrekende stukje van het betoog op.
• Strategische diepgang. Werk waarbij een middelmatig antwoord niet verkeerd is, maar gewoon oppervlakkig — een analyse die weliswaar nauwkeurig is, maar de context mist die je beslissing zou hebben veranderd. Oppervlakkigheid komt door een snelle controle heen, maar kost je in de echte wereld de das om, en dat is precies waarom het de moeite waard is om dit te vermijden.

En twee zaken die niets met het modelniveau te maken hebben, hoewel mensen ten onrechte naar een groter model grijpen om ze op te lossen:

• Dingen verzinnen. Beoordeel hoe kostbaar een verzonnen bewering zou zijn — maar beschouw het hoogste niveau niet als de oplossing. Hallucinaties worden in toom gehouden door gronding: het model bronnen geven, bronvermeldingen eisen en zelf het resultaat in de gaten houden (Les 1.4). Een kader dat fluistert “het grote model verzint geen dingen” leert de verkeerde gewoonte aan.
• Vooringenomenheid. Een sterker model levert niet per se eerlijkere resultaten op. Als het grootste risico van een taak vooringenomen output is, liggen de oplossingen in het proces — diverse bronnen, een expliciet tegenargument, beoordeling door mensen die er anders tegenaan kijken — niet in de prijs van het model.

De as die betrekking heeft op je materiaal, niet op het model

Nog een as, die je invoer beoordeelt in plaats van de taak: gereedheid. Hoe goed is de opdracht gespecificeerd, en hoe schoon is wat je aan het model kunt geven? Een briljante, capaciteitsgevoelige taak met een vage opdrachtomschrijving en tegenstrijdige brondocumenten leidt tot dure verwarring, niet tot briljante resultaten. De gereedheid geeft aan of de taak klaar is voor welk model dan ook — en, bij even sterke kandidaten, doe je eerst die met schone input.

Dan nog een simpele economische overweging: bij een eenmalig rapport speelt de prijs per niveau nauwelijks een rol; bij een taak die je elke dag uitvoert, stapelt het zich op.

De regel die het eerlijk houdt

Dit is de ruggengraat van de cursus, toegepast op een nieuwe beslissing: elk oordeel verwijst naar iets. Waar je niet genoeg ziet om een taak te beoordelen, is de juiste output een markering — „onvoldoende informatie; dit is wat ik nodig zou hebben” — nooit een zelfverzekerde gok die zich voordoet als een oordeel. De foutmodus van elke triage is een vloeiende scoretabel die nergens op berust. Je eist al bewijs van Claude; eis het ook van de beslissing over welke Claude je moet gebruiken.

De categorie benoemen — zorgvuldig

Op het moment van schrijven is het meest capabele, algemeen beschikbare model van Anthropic de Claude Fable 5, die boven de niveaus Opus, Sonnet en Haiku staat. Maar dat is nu juist het soort informatie dat snel veroudert: modelnamen, mogelijkheden en prijzen veranderen vaak. De enige bewering die de moeite waard is om op voort te bouwen, is de blijvende: een hoger niveau is krachtiger dan de niveaus eronder. Voor meer specifieke informatie — wat er momenteel beschikbaar is, wat het kost — raadpleeg je best de eigen pagina’s van Anthropic (anthropic.com/news, docs.claude.com) in plaats van te vertrouwen op een model of deze pagina, uit het hoofd. Weigeren een beslissing te baseren op een onbevestigde bewering is de eerste les van de hele cursus, geen voetnoot bij deze les.

De zet

Een taak komt in aanmerking voor het hoogste niveau wanneer deze hoog scoort op ten minste twee van de volgende aspecten: redeneren, synthese en strategische diepgang. Alleen blootstelling aan veel hallucinaties is niet genoeg — dat is basiswerk, geen taak voor het hoogste niveau. Zeg duidelijk „niet de moeite waard“ wanneer dat waar is; voor het meeste werk is het hoogste niveau niet nodig.

En de triage is een hypothese, geen definitief oordeel. Voor je topkandidaat is de eerlijke volgende stap goedkoop: voer de taak één keer uit op je huidige niveau en één keer op het hoogste niveau, en vergelijk de twee resultaten zelf. De triage vertelt je waar dat experiment de kosten waard is; het experiment vertelt je de waarheid.

Meer lezen

• Anthropic — modellenoverzicht — het huidige modellenaanbod, de mogelijkheden en de prijzen (controleer dit hier, niet uit je hoofd).
• Anthropic — nieuws — aankondigingen van nieuwe modellen en wat er is veranderd.

Afdrukbare kaart: de model-triage-prompt — een kant-en-klare prompt die een lijst met je taken beoordeelt aan de hand van deze criteria, het bewijs aangeeft en markeert wat niet kon worden geverifieerd.