¿Qué modelo — y cuándo el nivel superior se hace valer?

Working with Claude — CC BY 4.0

De vez en cuando aparece un modelo más potente y tienes que decidir si tu trabajo lo justifica —el de gama alta— o si uno más barato hará el trabajo igual de bien. La mayoría de la gente decide esto de una de estas dos formas, y ambas son malas.

La primera es «utilizar siempre lo mejor». Es cómoda, cara y no te enseña nada sobre dónde está realmente sirviendo de algo el dinero. La segunda se basa en las «sensaciones»: si la tarea parece difícil, se opta por el modelo más potente. El problema es que la dificultad percibida de una tarea no se corresponde en absoluto con el tipo específico de dificultad que un modelo más potente realmente resuelve. La mayoría de las tareas no están limitadas en absoluto por la capacidad del modelo; están limitadas por unas instrucciones vagas o unos datos de entrada desordenados, y un modelo más grande no puede solucionar ninguna de esas dos cosas.

Hay una forma mejor, y es la misma disciplina que se enseña en todo este curso, orientada a una nueva decisión: evaluar la tarea en función de las características que realmente justifican un modelo más potente, y pagar por el nivel superior solo cuando esas características estén presentes.

Dónde un modelo más potente se gana el sueldo

Un pequeño conjunto de características de la tarea recompensa de forma fiable la capacidad. Puntúa cada una por separado: una pregunta combinada del tipo «¿en qué medida ayudaría el modelo grande?» solo invita a que vuelvan las vibraciones negativas.

• Aprovechamiento del razonamiento. Cadenas largas en las que un error inicial contamina silenciosamente todo lo que viene después; problemas que conllevan muchas restricciones que interactúan a la vez. Si un error en el paso 2 corrompe el paso 14, el nivel importa.
• Aprovechamiento de la síntesis y la investigación. Conciliar fuentes que discrepan; lectura adversaria: descubrir lo que un documento omite, no solo resumir lo que dice. Los modelos más débiles resumen; los más potentes detectan la pieza que falta en el argumento.
• Profundidad estratégica. Trabajos en los que una respuesta mediocre no es incorrecta, sino simplemente superficial: un análisis que es preciso pero no tiene en cuenta el contexto que habría cambiado tu decisión. La superficialidad supera una comprobación rápida pero te sale cara en el mundo real, que es precisamente por lo que merece la pena pagar para evitarla.

Y dos aspectos que no tienen que ver con el nivel del modelo, aunque la gente recurre erróneamente a un modelo más grande para solucionarlos:

• Inventarse cosas. Evalúa lo costoso que resultaría una afirmación inventada, pero no consideres que el nivel superior es la solución. Las alucinaciones se controlan mediante la verificación: proporcionar fuentes al modelo, exigir citas y supervisar personalmente el resultado (Lección 1.4). Un marco de trabajo que susurra «el modelo grande no inventará cosas» está inculcando un hábito erróneo.
• Sesgo. Un modelo más potente no produce de forma fiable resultados más imparciales. Si el principal riesgo de una tarea es un resultado sesgado, las soluciones están en el proceso —fuentes diversas, un contraargumento explícito, revisión por parte de personas que lo verían de otra manera— y no en el precio del modelo.

El eje que se refiere atu material, no al modelo

Un eje más, que puntúa tus entradas en lugar de la tarea: la preparación. ¿Está bien especificada la tarea y hasta qué punto es «limpio» lo que puedes entregar al modelo? Una tarea brillantemente sensible a las capacidades con unas instrucciones vagas y documentos de origen contradictorios genera una costosa confusión, no brillantez. La preparación te indica si la tarea está lista para cualquier modelo —y, entre candidatos igualmente sólidos, haz primero las que tengan datos de entrada limpios.

Luego, una cuestión de simple economía: un informe puntual apenas se ve afectado por los precios por niveles; una tarea que se ejecuta a diario los multiplica.

La regla que garantiza la honestidad

Esta es la columna vertebral del curso, aplicada a una nueva decisión: cada juicio cita algo. Cuando no ves lo suficiente para puntuar una tarea, el resultado correcto es una señal de advertencia: «No hay suficiente información; esto es lo necesitaría» —, nunca una suposición segura disfrazada de veredicto. El modo de fallo de cualquier triaje es una tabla de puntuaciones fluida que no se basa en nada. Ya exiges pruebas de Claude; exígelas también de la decisión sobre qué Claude utilizar.

Nombrar el nivel —con cuidado—

En el momento de escribir este artículo, el modelo más potente de Anthropic disponible para el público general es el Claude Fable 5, situado por encima de los niveles Opus, Sonnet y Haiku. Pero ese es precisamente el tipo de dato que queda obsoleto: los nombres de los modelos, las capacidades y los precios cambian a menudo. La única afirmación en la que vale la pena basarse es la que perdura: un nivel superior es más capaz que los que están por debajo de él. Para cualquier información más específica —qué hay actualmente, cuánto cuesta—, consulta las propias páginas de Anthropic (anthropic.com/news, docs.claude.com) en lugar de fiarte de un modelo o de esta página, basándote en lo que recuerdas. Negarse a basar una decisión en una afirmación no verificada es la primera lección de todo el curso, no una nota al pie de esta lección.

El avance

Una tarea es candidata al nivel superior cuando obtiene una puntuación alta en al menos dos de los siguientes aspectos: razonamiento, síntesis y profundidad estratégica. Una alta exposición a las alucinaciones por sí sola no basta: eso es un trabajo de base, no de nivel superior. Di claramente «no merece la pena» cuando sea cierto; la mayor parte del trabajo no necesita el nivel superior.

Y la clasificación es una hipótesis, no un veredicto. Para tu candidato de primer nivel, el siguiente paso lógico es sencillo: ejecuta la tarea una vez en tu nivel actual y otra vez en el nivel superior, y compara tú mismo los dos resultados. La clasificación te indica dónde merece la pena el coste de ese experimento; el experimento te revela la verdad.

Más información

• Anthropic — descripción general de los modelos — la gama actual de modelos, capacidades y precios (compruébalo aquí, no de memoria).
• Anthropic — noticias — anuncios de nuevos modelos y qué ha cambiado.

Ficha imprimible: la plantilla de clasificación de modelos — una plantilla lista para pegar que puntúa una lista de tus tareas según estos criterios, cita sus pruebas y señala lo que no ha podido verificar.