La pregunta que se hace todo abogado después de ver una respuesta de IA bien escrita es si puede creerle. No hay una respuesta general. Hay pruebas concretas que se pueden hacer a cada respuesta, y una forma de leer las señales.
Esta guía propone cinco pruebas, un semáforo para leer una respuesta y un ejercicio de quince minutos para evaluar una herramienta con un caso que ya conoces.
Por qué el tono no sirve
Una IA generativa redacta con la misma seguridad cuando acierta y cuando se equivoca. Lo que el Acuerdo PCSJA24-12243 llama alucinaciones, es decir, resultados imprecisos o inexactos, no se anuncian. Por eso la confiabilidad no se juzga por cómo suena una respuesta, sino por qué puedes comprobar de ella. Qué son y cómo se ven en el trabajo legal está en alucinaciones en IA jurídica.
Cinco pruebas
1. ¿Tiene una fuente que puedo abrir?
Una afirmación sin fuente solo se puede creer o descartar. Una con el documento, la actuación o la norma de origen se puede comprobar. Si la herramienta no indica de dónde sale lo que dice, la primera prueba ya está perdida.
2. ¿La fuente dice lo que la respuesta dice que dice?
Abre el documento y busca el pasaje. Es la prueba que más errores descubre: una fuente real puede estar mal resumida, o la afirmación puede ser un matiz que el documento no tiene.
3. ¿Da lo mismo si pregunto de otra forma?
Formula la misma consulta con otras palabras, o repítela. La documentación de Anthropic sobre reducción de alucinaciones recomienda comparar varias ejecuciones de la misma petición porque las inconsistencias entre ellas pueden señalar un problema. Si una fecha cambia de una respuesta a otra, ninguna merece confianza sin cotejo.
4. ¿Admite lo que no sabe?
Hazle una pregunta que no pueda responder con el material cargado: por un documento que no subiste, por un hecho que no está en el expediente. Una herramienta honesta dice que no está. Una que inventa una respuesta plausible acaba de mostrarte cómo se comporta cuando falla.
5. ¿Las normas y la jurisprudencia están confirmadas?
Cada artículo, ley o sentencia que una respuesta mencione se confirma en la fuente oficial: el texto de la norma, la relatoría de la corte. Esta prueba no se delega ni se hace con otra IA.
Cómo leer una respuesta
Buena señal
Puedes comprobarla.
- Cita el documento o la actuación de donde sale
- Distingue lo que dice el expediente de lo que deduce
- Dice «no está en el expediente» cuando falta
- Da lo mismo si la repites
Compruébala antes
Puede ser correcta, pero no se sostiene sola.
- Resume sin indicar de qué documento
- Da una fecha o una cifra sin su fuente
- Cambia un dato al repetir la pregunta
No la uses así
El riesgo es alto.
- Cita una sentencia o un artículo con número exacto que tú no aportaste
- Afirma con seguridad lo que el expediente no contiene
- Se contradice dentro de la misma respuesta
Es una guía de lectura, no un criterio infalible. Ninguna señal verde sustituye la verificación de lo que vas a usar.
Un ejercicio de quince minutos
Antes de confiar una herramienta con tus casos, pruébala con uno que conozcas bien:
- Pídele un resumen y compáralo con lo que sabes.
- Pregúntale por un dato concreto (una fecha, una cuantía) y abre el documento que cita.
- Hazle una pregunta que no se pueda responder con lo cargado.
- Pídele una norma o una sentencia y confírmala en la fuente oficial.
Si pasa las cuatro, tienes una medida de la herramienta. Si falla alguna, ya sabes dónde mirar siempre.
Deja un registro de la verificación
Cuando una respuesta de IA va a influir en un escrito o en una decisión, deja constancia de cómo la comprobaste. Con cinco datos basta:
| Dato | Ejemplo |
|---|---|
| Pregunta | «¿Qué fecha fija el acta de entrega?» |
| Respuesta de la IA | «15 de abril de 2024» |
| Fuente que citó | Acta de entrega, cláusula 2 |
| Verificación | Abierto el acta: dice 15 de abril |
| Quién y cuándo | Ana, 2 de octubre |
Ejemplo ficticio. Es poco trabajo y sirve el día que alguien pregunte de dónde salió una afirmación, incluido tú mismo semanas después.
Errores al evaluar una respuesta
- Verificar solo lo que parece raro. Los errores más caros son los que parecen normales: una fecha plausible, una cuantía razonable.
- Confiar en la segunda IA. Pedirle a otra herramienta que confirme lo que dijo la primera no es verificar: es repetir el riesgo.
- Dar por buena una respuesta porque coincide con lo que esperabas. Es el sesgo de confirmación aplicado a la IA.
- Probar solo con preguntas fáciles. La prueba que más enseña es la de lo que no está en el expediente.
Cómo se ve en ActuarIA
El asistente de ActuarIA trabaja sobre las actuaciones, el SPOA y los documentos del caso, indica el documento o la actuación de donde sale la información (no la página) y está instruido para decir cuando algo no está en el expediente. Las cuatro primeras pruebas se pueden hacer ahí, con un caso tuyo. El análisis de expedientes con IA detalla qué lee y cuáles son sus límites; y qué exigirle a cualquier proveedor, en qué revisar antes de contratar una IA jurídica.