El hábito de la verificación: saber cuándo Claude es incorrecto

Working with Claude — CC BY 4.0

La lección 1.4 cambió lo que dice Claude: etiqueta cada afirmación, limita las conjeturas, asume la responsabilidad de infringir las reglas. Esta lección trata sobre lo que haces con lo quete devuelve el sistema. Porque la máquina etiqueta erróneamente con la misma facilidad con la que comete errores: una afirmación etiquetada como [KNOWN] puede seguir siendo errónea. Las etiquetas no hacen que Claude sea fiable. Lo hacen verificable. La verificación es el hábito que convierte lo «verificable» en «verificado».

Aquí radica el objetivo fundamental del curso. No se trata de ir más rápido, sino de poder confiar en el resultado. Eso solo ocurre si el último par de ojos que revisa una respuesta es el tuyo.

Empieza por leer las etiquetas, no el tono

Claude suena igual de fluido tanto si es correcto como si es incorrecto. La fluidez no es una prueba. Así que, antes de reaccionar ante cómo se lee una respuesta, fíjate en las etiquetas que pediste en el apartado 1.4:

• Cualquier cosa etiquetada como [GUESS], o una afirmación[FRAME] disfrazada de consejo del mundo real: trátala como una pista que hay que comprobar, nunca como un hallazgo.
• [INFERRED]: una cadena de razonamiento. Las cadenas se rompen. Comprueba los eslabones, no solo la conclusión.
• [KNOWN] y [COMMON]: suelen ser sólidas, pero son precisamente las afirmaciones que se expresan con mayor seguridad y menor cautela, por lo que es ahí donde una afirmación errónea causa mayor daño.
• [COMPUTED]: vuelve a hacer el cálculo tú mismo. Los modelos de lenguaje no se les da bien la aritmética, y una cifra errónea puede parecer tan correcta como una acertada.

Si una afirmación no lleva ninguna etiqueta y es importante, esa es tu señal para pedir una antes de seguir adelante.

Pide la fuente y, luego, ábrela de verdad

Para cualquier cosa en la que vayas a basarte —una ley, una dosis, una cita, una persona concreta, una cifra que vayas a presentar a otra persona—, pregunta sin rodeos:

¿Cuál es tu fuente para eso? Dame el documento o la página concretos, no un ámbito general.

Pueden pasar dos cosas. A veces, Claude no puede aportar ninguna, lo que te indica que la afirmación se basaba en un patrón más que en hechos: rebájale la importancia. A veces proporciona una fuente que, al abrirla, dice algo diferente. «Nunca inventes citas» era una regla de la versión 1.4; esto es lo que haces al aplicarla. Una fuente que no has abierto no es realmente una fuente, sino solo una afirmación sobre una.

Si la búsqueda web está activada en la aplicación Claude, Claude puede buscar información en tiempo real y citar las URL que ha utilizado, y puedes hacer clic directamente en ellas para comprobarlas. (La búsqueda web es un botón de activación/desactivación en la aplicación; confirma su ubicación y funcionamiento exactos dentro de la aplicación o en la documentación actual, ya que la interfaz cambia con cada actualización.) Fíjate en la diferencia: con la búsqueda activada, obtienes enlaces reales que puedes abrir; si trabajas solo a partir de la memoria de entrenamiento, obtienes un recuerdo, que es de donde provienen las citas inventadas. Cuando sea importante, opta por la versión en la que puedas hacer clic.

Cómo detectar lo que suena convincente pero es incorrecto

La respuesta peligrosa es aquella que suena segura: fluida, específica, autoritaria y falsa. Algunas señales que debes aprender a reconocer:

• Falsa precisión. Fechas exactas, números de sección, porcentajes y citas que parecen demasiado perfectas. La especificidad es fácil de generar y se percibe como autoridad. Verifica primero los detalles: son los más citables y los que más probabilidades tienen de ser erróneos con seguridad.
• Una teoría ordenada que lo explica todo. Las situaciones reales son más complicadas. Si la respuesta es sospechosamente elegante, eso es una señal para indagar, no para relajarse.
• Cedencia instantánea o confrontación instantánea. Si Claude cambia de postura en el momento en que le llevas la contraria —o discute por reflejo cuando tú tienes claramente la razón—, es que esa postura nunca se basaba en nada. Pregunta por qué ha cambiado. «No hay ninguna razón en concreto» será la respuesta.

Una rápida comprobación cruzada: haz la misma pregunta de otra forma, o en una nueva conversación sin sesgos, y comprueba si la respuesta se mantiene. Si las dos versiones discrepan, al menos una es errónea y has encontrado la brecha en la que indagar.

La prueba de «¿ esto lo habría predicho de antemano?»

Vale la pena que te quedes con esta prueba para el resto de tu vida, mucho más allá de Claude. Cuando te den una explicación —por qué se movió un mercado, por qué una persona se comportó como lo hizo, por qué fracasó un proyecto—, pregunta:

¿Habría predicho esta explicación el resultado antes de que ocurriera, o solo encaja ahora que sabemos cómo ha acabado?

Una explicación que solo encaja a posteriori no predice nada; simplemente adapta la historia al resultado. En el apartado 1.4 le dijiste a Claude que marcara estos casos como [INFERRED, post-hoc]: «explica, pero no predice». Aquí aplicas la misma prueba a todo lo que te devuelve, y también a tu propio razonamiento, ya que estás en ello. La retrospectiva disfrazada de perspicacia es el error más cómodo que existe.

Dónde reside el hábito

No aplicas el procedimiento completo a cada respuesta; eso sería agotador e inútil para una charla sin gran importancia. Lo aplicas en proporción al coste que tendría una respuesta errónea. Si es una pregunta informal, echas un vistazo a las etiquetas y sigues adelante. Si se trata de algo sobre lo que vas a actuar, en lo que vas a gastar dinero o en lo que vas a poner tu nombre, comprueba la fuente, vuelve a calcular las cifras, haz una verificación cruzada y aplica la prueba a posteriori.

Esa proporcionalidad es la clave. Claude elabora el borrador; tú decides qué es cierto. El resultado es tuyo: tú lo has dirigido, lo has revisado, es tuyo. Una herramienta en la que puedes confiar no es aquella que nunca se equivoca. Es aquella en la que has desarrollado el hábito de detectar los errores.

Lecturas recomendadas

• Reduce las «alucinaciones »: las propias recomendaciones de Anthropic para revisar el resultado de Claude.