Cómo leer lo que te devuelve la IA

034

No delegues la verificación a quien generó la respuesta.

ilustración · apunte 034

"¿Estás seguro?" La IA dice que sí. "Verifica que esto sea correcto." La IA verifica y confirma. "¿Hay algo que pueda estar mal?" La IA encuentra una observación menor, sugiere una mejora cosmética, mantiene el resto. La conversación termina con la sensación de que el output fue auditado.

No fue auditado. Fue defendido por la misma instancia que lo produjo.

El modelo no tiene una memoria fáctica externa con la que cotejar lo que dijo. Cuando le pides que verifique, lo que hace es regenerar el mismo tipo de respuesta a partir del mismo contexto, con las mismas pistas y los mismos sesgos. Si la primera vez se equivocó porque rellenó con plausibilidades, la segunda va a rellenar con plausibilidades parecidas. La consistencia interna no es prueba de corrección externa.

Hay una asimetría más fina. El modelo está calibrado para ser útil dentro de una conversación, lo que incluye no contradecirse demasiado con lo que ya dijo en esa sesión. Pedirle que dude de su propia respuesta empuja contra ese gradiente. Va a admitir matices, ajustes, refinamientos. Pero rara vez va a decir "lo que te dije antes era falso".

La verificación tiene que venir de un lugar que no estuvo presente cuando se construyó la respuesta. Otra IA, una búsqueda externa, una fuente verificada, un experto humano. Cualquier auditor que no comparta los datos de entrenamiento ni el historial de la conversación.

foto
José

José Betancur

Ingeniero, escritor y arquitecto de futuros educativos. Escribe sobre tecnohumanismo enCódigo Humanoy dirige Imaginar Futuros EAFIT. Explora la intersección entre IA, creatividad humana y los futuros que podemos diseñar juntos.

inConectemos en LinkedIn →