Resumen: convertimos un modelo de frontera (Opus 4.8) en una base de datos legal falsa y sondeamos dónde fabrica información. Se negó a inventar citas que no existen: 4 de 4 referencias imposibles volvieron como no encontradas. Pero ante una consulta plausible fabricó la propia búsqueda: una lista de resultados clasificados con una puntuación de relevancia inventada y una cita real y verificable que apuntaba a la ley equivocada. La alucinación peligrosa no es el caso falso que puedes detectar. Es la cita real vinculada al contenido equivocado, con el modelo insistiendo en que había buscado algo cuando no lo hizo.
La cifra que todos citan, y la que se les escapa
Si has buscado herramientas de IA legal en el último año, conoces la cifra alarmante. Un estudio de Stanford de 2024 midió tasas de alucinación del 43% para GPT-4, del 33% para la investigación con IA de Westlaw y del 17% para Lexis+. Otra base de datos independiente ahora rastrea más de 1.000 casos judiciales en los que abogados presentaron citas inventadas por IA. Algunos han sido multados.
Tasas de alucinación en herramientas de investigación legal
Stanford, 2024, porcentaje de respuestas que contienen una alucinación
Las herramientas legales basadas en recuperación superan a los modelos generales, pero los errores que quedan se vuelven más sutiles, como una cita real vinculada a la ley equivocada.
El consejo que sigue es siempre el mismo: verifica cada cita. Cierto, y casi inútil, porque asume que las alucinaciones parecen falsificaciones obvias. Las que hacen que sancionen a los abogados no lo son. Así que hicimos un experimento para ver cómo son en realidad.
El experimento: convertir al modelo en la biblioteca
La mayoría de las pruebas de alucinación le hacen una pregunta legal a un modelo y califican la respuesta. Nosotros hicimos algo más extraño. Usamos una herramienta de código abierto, world-model-harness, para hacer que Opus 4.8 se hiciera pasar por la propia base de datos legal, el motor de búsqueda, no el abogado.
Así es la configuración en términos sencillos. Grabamos sesiones reales de investigación legal contra una base de datos multijurisdiccional genuina, estatutos y jurisprudencia de la UE, Francia y Alemania. Luego entrenamos al modelo para que representara esa base de datos: envías una consulta y devuelve lo que cree que devolvería la base de datos, resultados de búsqueda, texto del documento, citas. Una base de datos real recupera información. La nuestra la predice. La brecha entre ambas es la alucinación, aislada bajo un microscopio.
Una confesión del proceso de construcción: nuestra primera ejecución mostró una precisión de citas de casi el 100% y casi lo celebramos. Luego nos dimos cuenta de que estábamos probando la caché, no el modelo: le habíamos dado consultas que ya había visto, así que simplemente repetía las respuestas reales. Vergonzoso durante una tarde, instructivo para siempre: la única prueba honesta de una IA legal es con preguntas que nunca antes ha visto.
Hallazgo 1: no inventa una cita de la nada
Le dimos a la biblioteca falsa cuatro referencias que no existen en ningún lugar: un reglamento de la UE inventado, un artículo del Code civil francés fabricado, un número de documento CELEX sin sentido y un caso constitucional alemán falso.
Las cuatro veces respondió como lo haría una base de datos real: resuelto como falso, no encontrado. No inventó un caso plausible para llenar el vacío. Esto es una buena noticia genuina y vale la pena decirlo en voz alta. Los modelos de frontera de 2026 están mucho mejor calibrados de lo que sugiere la reputación de que simplemente se inventan cosas. Ante algo imposible, Opus 4.8 se negó. Si esa fuera toda la historia, podrías relajarte. No lo es.
Hallazgo 2: fabrica la propia búsqueda
Luego le preguntamos algo plausible pero nunca visto, sobre las reglas de la Ley de IA de la UE para sistemas de alto riesgo. El modelo produjo una respuesta completa de base de datos, clasificada: múltiples resultados, fechas del diario oficial, una puntuación de relevancia de 0,71243286, todo presentado como si se hubiera recuperado de EUR-Lex. Nada de esa recuperación ocurrió. No hubo índice, ni búsqueda, ni puntuación. Fabricó el propio acto de buscar algo. Y las citas que devolvió son la clase magistral de por qué esto importa:
- CELEX 32024R1689, real y correcta. Esa es efectivamente el EU AI Act. Una memoria impresionante.
- CELEX 32024R0900, real, verificable y equivocada. Esa cita se resuelve perfectamente en EUR-Lex, hacia el Reglamento (UE) 2024/900 sobre la transparencia de la publicidad política. No tiene nada que ver con la conformidad de la IA.
Esa segunda es el quid de la cuestión. No es una cita falsa, una cita falsa es fácil de detectar porque no se resuelve. Esta es una cita real vinculada a la ley equivocada. Quienes verifican citas lo llaman un desajuste entre nombre y cita. Haces clic, carga un reglamento oficial de la UE, todo parece legítimo, y acabas de fundamentar tu argumento en derecho de la publicidad mientras crees que es derecho de la IA. Todos los enlaces se resuelven. Nada parece estar mal.
Advertencia honesta: esto es una prueba de concepto contundente, no un benchmark: un corpus pequeño y una fabricación detectada entre un puñado de sondeos. No estamos afirmando una tasa. Te estamos mostrando un patrón.
Prueba HAQQ AI gratis
Experimenta la redacción e investigación legal con IA
Por qué este es el fallo que sobrevive a la revisión
Vuelve al consejo estándar: verifica cada cita. Ahora míralo fallar. El abogado revisa la cita del AI Act, real. Revisa la siguiente, también real, carga bien. La verificación pasa, porque verificar suele significar ¿funciona este enlace?, y todos los enlaces funcionaron. El error no está en si la cita existe. Está en si dice lo que el modelo afirmó, algo mucho más difícil de detectar, y exactamente el tipo de error que termina en un escrito judicial.
La lección más profunda tiene que ver con dónde vive la mentira. Instintivamente nos preocupa que el modelo se equivoque sobre la ley. El riesgo real es que se equivoque en la recuperación, que la frase busqué en la base de datos y esto es lo que encontré sea en sí misma la alucinación, completa con una puntuación de confianza falsa para venderla.
La postura de HAQQ: la búsqueda es la alucinación
Esta es la razón por la que fundamentamos las respuestas de HAQQ en recuperación real en lugar de pedirle a un modelo que recuerde la ley de memoria. No porque los modelos sean torpes, este rechazó todas las citas imposibles y acertó el número de la Ley de IA de la UE. Pero un modelo al que se le pide ser la fuente terminará representando la recuperación que no hizo. La única solución es hacer que la recuperación sea real: extraer el documento real de un índice real y luego verificar que la cita se resuelve en el caso que el modelo nombró, no solo en un caso cualquiera.
De aquí se desprende una pregunta para el comprador. No le preguntes a un proveedor de IA legal si alucina, todos dirán que no. Pregunta: cuando me muestras una cita, ¿recuperaste ese documento exacto y verificas que el nombre del caso coincide con la cita? El desajuste entre nombre y cita es la señal delatora. Una herramienta que solo verifica si las citas tienen el formato correcto dejará pasar 32024R0900 sin problema.
Conclusiones clave
- Un modelo de frontera bien calibrado no inventará citas de la nada: se negó ante 4 de 4 referencias imposibles.
- Fabricará la propia recuperación ante consultas plausibles, incluyendo una puntuación de relevancia falsa y una cita real que apunta a la ley equivocada.
- La alucinación peligrosa es la que supera la verificación: todos los enlaces se resuelven, solo el significado está mal.
- Fundamenta la IA legal en recuperación real más verificación de cita, y evalúa a los proveedores según si comprueban que una cita dice lo que afirman, no solo que existe.
