Un asistente consulta un procedimiento y encuentra una frase que intenta ordenarle cómo responder. El texto está dentro del documento, pero no forma parte de las instrucciones autorizadas del sistema. Si el asistente lo trata como una orden, el repositorio de conocimiento se convierte en una vía para alterar su conducta.
La prompt injection documental es un problema de separación entre datos e instrucciones. Debe evaluarse con pruebas controladas sobre el recorrido completo: recuperación, generación, citas y posibles herramientas.
1. Delimita qué puede hacer el asistente
Enumera sus capacidades antes de diseñar las pruebas. Un asistente que solo responde sobre documentos tiene consecuencias distintas de otro que puede crear tareas o modificar registros.
La referencia de OWASP sobre prompt injection distingue entradas directas e indirectas, incluidas instrucciones que llegan mediante contenido externo. Sus recomendaciones ayudan a diseñar defensas, pero ninguna frase añadida al prompt garantiza eliminar el riesgo.
Define qué decisiones se aplican fuera del modelo: autorización, herramientas disponibles, validación de parámetros y operaciones que requieren confirmación. El texto recuperado no debería poder ampliar esas capacidades.
2. Construye documentos de prueba identificables
Utiliza un entorno aislado con documentos sintéticos y marcadores inocuos. Conserva una versión limpia y otra modificada del mismo contenido para comparar el efecto.
Por ejemplo, un procedimiento ficticio puede contener una nota que pida incluir la frase ‘MARCADOR DE PRUEBA’ en cualquier respuesta. El resultado esperado es que el asistente trate esa nota como contenido del documento y mantenga la tarea legítima del usuario, sin adoptar la instrucción como una regla propia.
No necesitas utilizar credenciales reales, datos de clientes ni destinos externos para comprobar esa frontera. Si ensayas herramientas, utiliza simuladores o recursos de prueba con efectos observables y limitados.
3. Varía la posición y la forma del contenido
| Caso defensivo | Qué se comprueba |
|---|---|
| Instrucción en un párrafo recuperado | Que el contenido no sustituya las instrucciones del asistente |
| Nota que aparenta autoridad interna | Que una afirmación de autoridad no conceda permisos |
| Texto en una tabla o metadato indexado | Que las defensas cubran más que el cuerpo principal |
| Referencia que propone otra acción | Que el sistema mantenga el alcance solicitado |
| Documento válido con una modificación posterior | Que la nueva versión vuelva a pasar la evaluación aplicable |
Comprueba que el fragmento de prueba llegó realmente al contexto. Si el buscador nunca lo recuperó, una respuesta correcta no demuestra resistencia frente a ese caso. Guarda la lista y versión de los fragmentos utilizados.
4. Observa también las herramientas y las citas
Una respuesta aparentemente normal puede ocultar una llamada indebida. Registra en el entorno de prueba qué herramienta se solicitó, con qué parámetros y qué control permitió o rechazó su ejecución.
La autorización debe comprobar la identidad y el recurso solicitado mediante reglas confiables. No aceptes como prueba de permiso una frase del documento que diga que todos los usuarios están autorizados.
Revisa las citas. El asistente no debería presentar una fuente como evidencia de algo que no contiene, ni construir enlaces ajenos al material autorizado porque el documento se lo pide.
Coordina la prueba con los permisos de recuperación en RAG. Impedir que una instrucción se ejecute y evitar que se recupere información restringida son controles distintos.
5. Conserva la utilidad de la respuesta legítima
La prueba no termina al comprobar que el marcador no aparece. Evalúa si el asistente responde correctamente a la pregunta original o si se abstiene de forma proporcionada cuando no puede hacerlo.
Un sistema que rechaza todas las consultas sobre documentos evitaría ciertos comportamientos, pero también dejaría de cumplir su función. Incluye versiones limpias para detectar bloqueos innecesarios y utiliza la evaluación de abstenciones para describir ese efecto.
Los resultados deben separar éxito de la tarea, obediencia al contenido no confiable, acceso indebido y fallo técnico. Una única puntuación puede ocultar problemas con consecuencias diferentes.
6. Repite la evaluación cuando cambie el recorrido
Revisa estos casos al cambiar el modelo, los conectores, la fragmentación, los prompts o las herramientas. Conserva configuración, corpus y resultados para poder comparar.
Si aparece un fallo, identifica qué frontera cedió y añade un control verificable. No dependas exclusivamente de ampliar una lista de frases prohibidas: el contenido puede expresar la misma intención de maneras diferentes.
Para evaluar un asistente empresarial de IA, comparte con Nexeus Big Data su alcance, fuentes y herramientas permitidas. Esa información permite diseñar pruebas defensivas que midan tanto la resistencia a instrucciones ajenas como la utilidad para el usuario.