Cómo se verifica una cita legal generada por IA

Verificar una cita legal generada por inteligencia artificial consiste en comprobar cuatro cosas contra el texto oficial: que la norma exista, que el artículo citado sea el que se transcribe (correspondencia), que la versión invocada esté vigente a una fecha, y que lo citado respalde efectivamente la afirmación que acompaña. Las cuatro se comprueban por código contra el corpus indexado, no pidiéndole al modelo que se revise a sí mismo. Este artículo explica el método completo, por qué la abstención es una salida legítima del sistema, qué tasa arroja cuando se mide con método publicado, los cinco límites que no resuelve y qué exigirle a un proveedor para comprobar que existe. Es la contraparte operativa de cómo medimos las alucinaciones de una IA en producción y forma parte de la serie sobre cómo evaluar a un proveedor de IA.

Qué significa «cita verificada» (definición operativa)

Una cita está verificada cuando un proceso independiente del modelo ha comprobado, contra el texto oficial, que la referencia existe, que su contenido es el que se transcribe, que la versión es la aplicable a la fecha consultada y que lo transcrito sostiene la afirmación a la que acompaña. Mientras falte cualquiera de esas cuatro comprobaciones, lo que hay es una cita plausible, que es otra cosa.

La distinción no es retórica. El estudio de Stanford RegLab y Yale sobre las principales herramientas de investigación jurídica con IA del mercado estadounidense fijó una definición operativa que conviene adoptar tal cual: una respuesta puede ser incorrecta —describe mal el derecho— o mal fundada —la afirmación podría ser cierta, pero la cita entregada no la respalda—, y ambas cuentan como alucinación¹. La segunda categoría es la que rompe la intuición del comprador: hay respuestas con citas reales, verificables una por una en el sitio oficial, que siguen siendo falsas porque el artículo citado no dice lo que la respuesta afirma que dice.

Las cuatro comprobaciones

Cada cita que produce el sistema pasa por cuatro pruebas, en este orden, y cualquiera que falle degrada la respuesta antes de que llegue al usuario.

Existencia. ¿La norma y el artículo referidos están en el corpus? Es una búsqueda exacta por identificador, no semántica: número de norma, número de artículo, inciso o fracción. Si el identificador no resuelve, la cita se descarta. Esta prueba es la que atrapa el caso clásico —el artículo inventado con numeración verosímil— y es trivial de implementar; su ausencia en un producto es señal de que nadie pensó el problema.

Correspondencia. ¿El texto que la respuesta presenta como cita coincide con el texto almacenado para ese identificador? Se compara el fragmento entregado contra el fragmento del corpus. No hace falta identidad literal absoluta —hay elisiones y puntos suspensivos legítimos—, pero sí que cada segmento citado aparezca en el original. Esto atrapa la mezcla de dos artículos en uno, que es un fallo frecuente y difícil de detectar leyendo.

Vigencia. ¿La versión citada es la aplicable a la fecha de la consulta? Un texto legal no es un documento sino una serie de versiones: la misma norma dice cosas distintas según el día. El corpus debe almacenar la versión con su fecha, y la respuesta debe declarar a qué fecha corresponde lo que afirma. Los repositorios oficiales trabajan así: LeyChile publica cada norma con su fecha de versión y su estado de derogación⁸, el Boletín Oficial del Estado español publica textos consolidados con fecha de actualización¹⁰ y la compilación de la Cámara de Diputados de México indica la última reforma incorporada⁹. Un sistema que no guarda la fecha de versión no puede responder esta pregunta, y por tanto no puede verificar nada.

Suficiencia. ¿Lo citado respalda la afirmación? Es la comprobación más costosa y la que más fallos revela. Consiste en contrastar cada aserción de la respuesta contra el fragmento que la sostiene, y marcar la que no se sostiene. FACTS Grounding, el banco de pruebas publicado por Google DeepMind, formaliza exactamente esta idea: descartar primero las respuestas que eluden la pregunta —para que abstenerse de todo no sea una forma de ganar— y verificar después, frase por frase, que nada afirme lo que el documento entregado no dice³.

Por qué el modelo no debe citar de memoria

Un modelo de lenguaje produce texto estadísticamente plausible; su seguridad al expresarse es independiente de su exactitud. El NIST nombra este comportamiento confabulación —contenido falso o engañoso producido con confianza— y lo incluye entre los riesgos propios de la IA generativa, con la instrucción de medirlo, no de negarlo⁴. OWASP lo recoge en su lista de riesgos para aplicaciones con modelos de lenguaje bajo la etiqueta de desinformación⁶.

Por eso la arquitectura correcta no le pregunta al modelo qué dice la ley: le entrega los fragmentos del corpus pertinentes a la consulta y le pide que responda solo con eso, citando el identificador de cada fragmento. La diferencia práctica es que el espacio de respuestas queda acotado por documentos reales. La diferencia medida es sustancial pero no total: el trabajo previo del mismo grupo de Stanford mostró que los modelos generalistas alucinan en más de la mitad de las consultas jurídicas directas², y el estudio de 2025 mostró que recuperar documentos reduce el problema sin eliminarlo¹. La recuperación es condición necesaria; la verificación posterior es lo que convierte una reducción en una garantía comprobable.

Hay una consecuencia de diseño que conviene explicitar: los fragmentos que viajan al modelo son solo los pertinentes a cada consulta, nunca el corpus completo ni el expediente entero. Eso importa para la exactitud y, además, para la exposición de datos; el detalle de qué componente ve qué se declara en el inventario de componentes de IA.

La abstención es una salida del sistema, no un fallo

Un sistema serio tiene una respuesta prevista para «no hay fundamento en el corpus»: decirlo, decir qué se buscó y no ofrecer nada más. Esa salida se llama abstención y es una decisión de producto, no una avería.

Los modelos generalistas están afinados para ser útiles, y responder siempre es la conducta que optimiza esa utilidad aparente. En un dominio donde una afirmación falsa se convierte en un escrito presentado ante un tribunal, esa utilidad es el problema. La definición operativa que usamos separa tres cosas que suelen confundirse: alucinar (afirmar algo incorrecto o mal fundado), abstenerse (declarar que no hay fundamento) y quedarse corto (una respuesta correcta que omite una condición esencial). Solo la primera cuenta como alucinación; la segunda y la tercera se reportan aparte, porque un sistema que se abstiene demasiado es inútil aunque nunca se equivoque.

La comprobación es sencilla para un comprador: pedir una consulta cuya respuesta correcta sea «eso no existe». Si el sistema produce una respuesta bien redactada en lugar de abstenerse, el resto de las garantías no importa.

La verificación se ejecuta por código, no con un segundo modelo

Las comprobaciones de existencia, correspondencia y vigencia son deterministas: son consultas al corpus y comparaciones de texto. Ejecutarlas por código tiene tres ventajas sobre pedirle a un modelo que revise: es reproducible, es auditable línea por línea y cuesta esencialmente nada por consulta.

El motivo de fondo es otro. Un modelo que evalúa respuestas —propias o ajenas— arrastra sesgos documentados de posición, de verbosidad y de autopreferencia; por eso FACTS Grounding promedia el juicio de varios modelos de distintos proveedores en lugar de confiar en uno³. Trasladado a producción: el juez no puede ser el evaluado. Cuando la comprobación exige criterio —la suficiencia—, el evaluador debe ser un componente distinto del que generó la respuesta, y su calibración debe contrastarse contra revisión humana sobre una muestra. Todo lo anterior es la función MEASURE del marco de gestión de riesgo del NIST aplicada a un caso concreto: métodos documentados, resultados registrados, no impresiones⁵.

Dónde se comprueba una cita: la fuente oficial por país

La verificación termina siempre en el mismo lugar: el repositorio oficial de la jurisdicción. Un sistema que se vende en varios países necesita una fuente primaria por cada uno, con su propia forma de expresar versiones y vigencias. Esta tabla reúne las que usamos como referencia de contraste, consultadas el 17 de agosto de 2026.

Qué arroja el método cuando se mide

El resultado de todo lo anterior no es una promesa: es una tasa, con fecha, versión del sistema e intervalo de confianza. Publicamos las nuestras congeladas por medición, sin actualizarlas con el corpus vivo⁷.

Sobre las pruebas diseñadas para inducir el error —artículos inexistentes, normas fuera del corpus, preguntas con premisa falsa— la lectura honesta no es un absoluto sino una cota. Con 120 pruebas hostiles y 0 fabricaciones observadas, lo que puede afirmarse es que la tasa real está por debajo de aproximadamente tres dividido por el número de pruebas, no que sea nula: ningún número de ensayos sin fallo demuestra la imposibilidad del fallo. La misma regla aplica a la batería interna sobre corpus legal chileno, con 115 consultas y una cota superior de 3,5 %.

Como orden de magnitud externo, el estudio de Stanford RegLab midió 33 % y 17 % de alucinación en dos plataformas comerciales que se anunciaban libres de ese defecto, sobre 202 consultas evaluadas por expertos¹. No son cifras comparables entre sí —distinto corpus, distinta jurisdicción, distinto tipo de pregunta—; lo comparable es el método.

Los cinco límites del método

Un método serio se describe por lo que no cubre tanto como por lo que cubre.

1. Corpus incompleto. La verificación solo alcanza lo indexado. Si una norma aplicable no está en el corpus, el sistema no la citará mal: simplemente no la citará, y la respuesta será incompleta sin que ninguna comprobación lo señale. Por eso la cobertura declarada del corpus, con su fecha de corte, es parte de la ficha del producto.
2. Desfase de vigencia. Entre la publicación de una reforma y su incorporación al corpus hay una ventana. El sistema debe declarar la fecha de corte de cada fuente y, en consultas sensibles a cambios recientes, advertirlo.
3. Interpretación. Que una cita sea exacta no hace correcta la conclusión jurídica. Dos artículos correctamente citados pueden sostener lecturas opuestas; elegir entre ellas es trabajo profesional y no se automatiza.
4. Jurisdicción cruzada. El error más silencioso es citar bien una norma del país equivocado. La comprobación de existencia debe estar acotada al corpus de la jurisdicción de la consulta, no al corpus completo.
5. Responsabilidad. Quien firma el escrito responde por él. Ningún sistema traslada esa responsabilidad, y ningún proveedor serio ofrece hacerlo.

Cómo exigirlo a un proveedor: cinco pruebas de una hora

Estas cinco pruebas se ejecutan en una sesión con el sistema delante y separan un producto verificable de una demostración ensayada.

Un proveedor que responde con evidencia a las cinco está describiendo un sistema; uno que responde con adjetivos está describiendo una expectativa. La forma de dejarlo por escrito —umbrales, re-medición ante cambio de modelo, aviso previo— pertenece a la política de IA responsable, y el protocolo completo de medición, con el arnés publicado, está en cómo medimos las alucinaciones de una IA en producción. Si quiere aplicar estas pruebas a un proveedor concreto, puede plantearnos el caso.