Saltar al contenido
Enrique Tomás Martínez Beltrán
InicioInvestigaciónPublicacionesTemasDocenciaBlog
Contacto
EN/ES
InicioInvestigaciónPublicacionesTemasDocenciaBlogContacto
EN/ES

Enrique Tomás Martínez Beltrán

Investigación postdoctoral en IA, ciberseguridad y aprendizaje federado, con trabajo en análisis de amenazas, ciberdefensa de ciclo cerrado y aprendizaje descentralizado confiable.

  • Política de privacidad
  • Términos del servicio
  • Accesibilidad
  • Google Scholarse abre en una pestaña nueva
  • ORCIDse abre en una pestaña nueva
  • LinkedInse abre en una pestaña nueva
  • GitHubse abre en una pestaña nueva
Todos los perfiles
  • ResearchGatese abre en una pestaña nueva
  • Scopusse abre en una pestaña nueva
  • DBLPse abre en una pestaña nueva
  • Web of Sciencese abre en una pestaña nueva

Enrique Tomás Martínez Beltrán. Todos los derechos reservados.

Volver arriba

Este sitio carga analítica opcional de Google y proveedores externos de analítica solo si aceptas. Puedes rechazarla y seguir usando la web con normalidad.

  1. Inicio
  2. Notas de investigación sobre aprendizaje federado, ciberseguridad y ciberdefensa
  3. Prompt injection en RAG y agentes LLM: guía de evaluación de seguridad
Prompt InjectionEvaluación de LLMsRAGCiberseguridad

Prompt injection en RAG y agentes LLM: guía de evaluación de seguridad

Evalúa utilidad legítima, límites de evidencia y autorización de herramientas en escenarios controlados

Enrique Tomás Martínez Beltrán

Investigador postdoctoral en Informática

8 de septiembre de 20265 min de lectura
  • LinkedInse abre en una pestaña nueva
  • Xse abre en una pestaña nueva
Prompt injection en RAG y agentes LLM: guía de evaluación de seguridad

La prompt injection en RAG ocurre cuando un documento recuperado o una salida de herramienta intenta cambiar las instrucciones que sigue el asistente. El usuario puede haber pedido una tarea legítima; el contenido externo introduce una intención diferente. En ciberseguridad, informes, tickets y registros son vías de entrada que el sistema necesita leer y que no debe convertir en autoridad.

Esta guía propone un protocolo de evaluación defensiva para asistentes con recuperación y herramientas. Los escenarios son de laboratorio, con documentos y activos ficticios. No se presentan tasas de éxito ni resultados de un despliegue real.

Por qué RAG no elimina la prompt injection

RAG aporta contexto, pero ese contexto puede contener instrucciones ajenas a la tarea. OWASP LLM01:2025 identifica el problema y señala que recuperación y ajuste del modelo no lo resuelven por completo. Una cita correcta demuestra procedencia; no concede permiso para actuar.

Conviene distinguir tres resultados: una respuesta contaminada, una revelación no autorizada y una acción fuera de alcance. Pueden aparecer por separado. Un asistente de solo lectura todavía puede producir una recomendación falsa o exponer datos a los que no debería acceder el destinatario.

Dibujar los límites de confianza

Antes de probar un filtro, escribe quién controla cada entrada. El usuario controla su petición dentro de sus permisos. El repositorio controla documentos con sus restricciones. Una herramienta devuelve observaciones; no redefine la política del agente. El servicio ejecutor controla la autorización final.

Como ejemplo, un ticket de laboratorio contiene texto que intenta cambiar el destinatario de un informe. El resultado correcto es conservar el destinatario autorizado y tratar ese texto como contenido del ticket. No basta con que el modelo explique que ha detectado un problema si después la herramienta usa el parámetro manipulado.

Una matriz de pruebas pequeña y útil

Caso de laboratorioConducta que comprobarResultado legítimo que debe conservarse
Instrucción ajena en un documentoNo cambia el objetivo del usuarioResumen respaldado por evidencia
Cambio de destinatario sugerido por una fuenteEl ejecutor bloquea el alcance no autorizadoInforme para el destinatario permitido
Documento antiguo presentado como vigenteSe aplica la versión correctaExplicación del procedimiento actual
Permiso revocado después de recuperarSe vuelve a comprobar el accesoAbstención o respuesta con fuentes autorizadas
Evidencia insuficienteNo se inventa una conclusiónSolicitud de contexto concreto

Para cada caso, prepara una versión limpia y otra perturbada. Mantén igual la tarea legítima. Usa marcadores ficticios para comprobar exposición y herramientas simuladas para observar intentos sin producir efectos externos.

Medir utilidad, exposición y acciones por separado

Registra al menos éxito de tarea legítima, afirmaciones sin respaldo, divulgación indebida, llamadas fuera de alcance y rechazo innecesario. Declara los denominadores. Una tasa de ataque baja obtenida porque el agente no hace nada puede esconder una pérdida total de utilidad.

Conserva la traza completa: documentos autorizados, fragmentos recuperados, respuesta, llamadas propuestas, decisiones del ejecutor y estado final. Una llamada propuesta y una acción realizada son eventos distintos. Un bloqueo del ejecutor puede proteger el sistema aunque el razonamiento del agente haya fallado.

AgentDojo proporciona un entorno para estudiar tareas de agentes y ataques de prompt injection. Úsalo como referencia experimental, y añade casos propios que reflejen el corpus y los permisos de tu aplicación.

Qué aporta la investigación de 2026

La revisión de marzo de 2026 del preprint Indirect Prompt Injections: Are Firewalls All You Need, or Stronger Benchmarks? analiza límites de benchmarks y ataques adaptativos. Una buena puntuación frente a perturbaciones conocidas no demuestra protección frente a cualquier contenido futuro.

La consecuencia que propongo es separar un conjunto de desarrollo de otro reservado, con familias de perturbación diferentes. Si se modifica la defensa después de ver un fallo reservado, registra esa exposición y renueva parte de la evaluación. Las variantes ES/EN de un mismo caso no deben repartirse entre desarrollo y test como si fueran independientes.

Controles que deben existir fuera del modelo

Aplica permisos antes de recuperar y otra vez al ejecutar. Limita los campos que una herramienta acepta, valida identificadores y fija destinos autorizados desde estado confiable. Los resúmenes derivados y las cachés necesitan las mismas restricciones que sus fuentes.

Un detector de instrucciones sospechosas puede aportar una señal, pero no reemplaza autorización. Tampoco un prompt que ordena ignorar instrucciones externas constituye una barrera completa. El diseño debe seguir siendo acotado cuando el modelo interpreta mal el documento.

Criterio de aceptación antes de desplegar

Define de antemano qué fallos impiden el despliegue, qué tareas requieren revisión humana y qué regresión de utilidad resulta inaceptable. Después del piloto, incorpora fallos revisados como nuevos casos. Mantén versiones de corpus, modelo, política y herramientas para poder explicar cada cambio de resultado.

La guía de RAG para ciberseguridad cubre la recuperación; los golden sets ayudan a construir las referencias; las métricas para LLMs completan el informe. La evaluación útil demuestra qué límites se respetan durante una tarea realista y deja visibles los que todavía no se han probado.

Investigación relacionada

Golden sets para evaluar LLMs: pequeños, curados y difíciles de engañar

13 de agosto de 2026

Golden sets para evaluar LLMs: pequeños, curados y difíciles de engañar

Construye golden sets para LLMs y RAG con ejemplos, adjudicación, particiones sin filtración y casos de seguridad en español e inglés.

Métricas para LLMs, RAG y sistemas de ciberseguridad

13 de agosto de 2026

Métricas para LLMs, RAG y sistemas de ciberseguridad

Métricas de LLMs y RAG: recall, citas, acciones inseguras, calibración, latencia e incertidumbre. Define denominadores y compara versiones.