Este es, hasta donde sabemos, el único benchmark público de IA jurídico-regulatoria en español: 278 consultas contra un sistema en producción, bajo la rúbrica de Stanford RegLab, con intervalos de confianza, prueba estadística de las mejoras y —lo más importante— las limitaciones declaradas.
RÚBRICA STANFORD · IC 95% WILSON · McNEMAR PAREADO · EJECUTABLE EN VIVO FRENTE A SU COMITÉ
01 POR QUÉ PUBLICAMOS ESTO
Stanford RegLab evaluó en 2025 las dos plataformas de investigación legal con IA más grandes del mundo — ambas comercializadas como «libres de alucinación». Los resultados: 17% y 33% de alucinación. Desde entonces se documentan ~1.490 resoluciones judiciales con citas fabricadas por IA en el mundo, incluidas sanciones a abogados en Chile en 2026. La lección no es que la IA no sirva: es que ningún proveedor serio puede declarar el problema resuelto — solo puede medirlo, publicarlo y mejorarlo.
02 CÓMO MEDIMOS
Metodología alineada con Stanford RegLab (2025) y FACTS Grounding (Google DeepMind, 2025), sobre un despliegue en producción con un corpus normativo chileno de 16 cuerpos legales y 1.067 artículos.
Las preguntas las redacta un modelo distinto del evaluado, desde el texto de artículos reales y sin nombrar el artículo: se mide recuperación, no eco. El juez que califica es un tercer modelo — evita el sesgo de autopreferencia.
Factuales · trampa (artículos inexistentes verificados contra la base de datos) · fuera de corpus · adversariales (premisa falsa embebida) · fundamentación de citas.
Alucinación = respuesta incorrecta o mal fundada (cita real que no sostiene lo afirmado). Abstenerse cuando el corpus no tiene la respuesta NO es alucinación: es el fallo seguro.
Las categorías trampa, fuera-de-corpus y adversarial se evalúan por contraste directo contra la base de datos — ningún modelo opina. Y cada cifra se reporta con su intervalo de confianza de Wilson al 95%.
03 RESULTADOS · 10 JUL 2026
| Veredicto | n | Tasa | IC 95% (Wilson) | Distribución |
|---|---|---|---|---|
| Exacta — correcta y sostenida por el texto oficial citado | 133 | 84,2% | 77,7–89,0% | |
| Incompleta — correcta pero omite una condición esencial | 13 | 8,2% | 4,9–13,6% | |
| Se abstuvo — declara que el corpus no contiene la respuesta | 8 | 5,1% | 2,6–9,7% | |
| Incorrecta — describe mal el derecho | 3 | 1,9% | 0,6–5,4% | |
| Mal fundada — la cita entregada no respalda la afirmación | 1 | 0,6% | 0,1–3,5% |
n = 158 respuestas factuales juzgadas bajo rúbrica; el resto de las 278 consultas corresponde a las categorías de evaluación determinista (tabla siguiente). La mejora respecto de la versión anterior del motor (71,9% → 84,2% exactas) proviene de correcciones estructurales de recuperación y es estadísticamente significativa: prueba pareada de McNemar sobre las mismas preguntas — 18 mejoraron, 2 empeoraron, p = 0,0004. La abstención innecesaria cayó de 16,3% a 5,1% sin aumentar la alucinación (2,6% → 2,5%).
| Prueba diseñada para inducir invención | Resultado |
|---|---|
| Consultas por artículos que no existen (verificados contra la BD) | 60/60 |
| Consultas por normas fuera del corpus | 40/40 |
| Consultas con premisa falsa embebida | 20/20 |
| Total: cero fabricaciones | 120/120 |
La lectura honesta no es «cero»: cero fallos en 120 intentos acota la tasa real de fabricación a ≤2,5% con 95% de confianza. Adicionalmente, las 179 citas que el sistema marcó como verificadas fueron recalculadas contra la base de datos: 0 apuntan a artículos inexistentes.
| Sistema | Respuestas exactas | Alucinación |
|---|---|---|
| Westlaw AI-Assisted Research (Stanford, 2025) | 42% | 33% |
| Lexis+ AI (Stanford, 2025) | 65% | 17% |
| Motor Innova y Cree (v2, jul 2026) | 84,2% | 2,5% |
La comparación no es una equivalencia metodológica: aquellos sistemas operan sobre jurisprudencia estadounidense y el nuestro sobre normativa regulatoria chilena. Se ofrece como referencia de orden de magnitud, no como ranking.
04 LECTURA HONESTA
Los 4 casos de alucinación de esta corrida comparten un patrón: el sistema respondió desde un artículo vecino o una norma hermana de contenido similar y describió mal un detalle — un plazo, el órgano competente. En ningún caso inventó una norma o un artículo inexistente. En la práctica: aproximadamente 1 de cada 40 consultas puede contener un error de matiz, detectable en segundos porque cada respuesta entrega sus citas verificadas con enlace a la fuente oficial. Por eso el sistema se diseña como asistente del profesional, nunca como sustituto de su juicio.
¿Por qué mostrar los límites? Porque una cifra que su comité pueda refutar destruye todo el documento — y porque los productos que prometieron «cero» son hoy los del 17% y 33%. La metodología completa, el diseño del arnés y las referencias están en el paper técnico descargable. Los componentes propietarios del motor no se divulgan; están disponibles bajo acuerdo de confidencialidad para due diligence técnica.
05 POR QUÉ RINDE ASÍ
Cada norma vive en una base de datos a nivel de artículo, con identidad verificable y enlace a la fuente oficial. Lo que no está en el corpus, no existe para el sistema.
Búsqueda léxica y semántica fusionadas: la mayoría de las «alucinaciones» nacen como fallas de recuperación, y ahí es donde más invertimos.
Si el corpus no contiene la respuesta, el sistema lo declara. Un asistente que responde siempre es más peligroso que uno que sabe decir «no está».
Cada cita se contrasta por código —no por IA— contra la base de datos antes de mostrarse. Un modelo no puede «convencer» al verificador.
La misma arquitectura responde la otra pregunta que su comité hará: ¿dónde viven los datos? Despliegue en servidor a nombre del cliente, en sus propias oficinas o en su nube corporativa — con contrato de encargo, cláusula de no-entrenamiento y reversibilidad total. Conocer los modelos de despliegue →
06 PÓNGANOS A PRUEBA
Incluidas preguntas trampa sobre artículos que no existen. Si su equipo técnico o legal quiere ver el arnés corriendo contra el sistema real, esa demostración es parte de nuestro proceso comercial estándar.