Retrieval-Augmented Generation para flujos de ciberseguridad

Retrieval-Augmented Generation, o RAG, combina un modelo de lenguaje con una colección externa de documentos. Esa colección puede contener playbooks, registros de vulnerabilidades, informes de incidentes o políticas locales. El modelo recibe un contexto seleccionado durante la inferencia y no depende solo de lo aprendido durante el preentrenamiento.

La idea es sencilla. La ingeniería no.

1. El flujo básico

Dada una consulta $q$ y una colección de documentos $D$, un recuperador selecciona un contexto:

$$C_k(q) = \operatorname{TopK}_{d\in D} s(q,d).$$

Después, el generador produce una respuesta condicionada por la consulta y el contexto:

$$y \sim p_\theta(y \mid q, C_k(q)).$$

La ecuación no garantiza que la respuesta esté respaldada. Solo describe de dónde recibió el contexto el modelo.

2. Qué importa en seguridad

El RAG de seguridad necesita algo más que similitud semántica. La recuperación debe considerar:

• autoridad y versión del documento,
• vigencia temporal,
• alcance del activo o entorno,
• control de acceso,
• normalización de indicadores,
• si la evidencia es una observación, una regla o una hipótesis.

Un playbook obsoleto puede ser más peligroso que no tener playbook porque aparenta autoridad.

3. Separar calidad de recuperación y de generación

Si la respuesta es errónea, hay que preguntar si el recuperador no encontró la evidencia, escogió evidencia contradictoria o devolvió un contexto correcto que el generador utilizó mal. Guarda los identificadores y las puntuaciones recuperadas para localizar el fallo.

Para una respuesta con afirmaciones $c_1,\ldots,c_n$, una revisión de grounding puede estimar:

$$G = \frac{1}{n}\sum_{i=1}^{n}\mathbf{1}[c_i\text{ está respaldada por el contexto seleccionado}].$$

Es un diagnóstico útil, no un sustituto de la revisión experta.

4. RAG no es un límite de seguridad por sí mismo

Los documentos recuperados pueden contener instrucciones maliciosas, datos sensibles o políticas contradictorias. La aplicación debe separar instrucciones y evidencia, filtrar el acceso antes de recuperar y evitar que el modelo trate el texto documental como un comando de sistema nuevo.

La salida debería incluir citas, incertidumbre y una negativa cuando el contexto sea insuficiente. Una respuesta segura sin procedencia es una respuesta fallida.

5. Un despliegue disciplinado

Construye primero un corpus pequeño y versionado. Usa un golden set de consultas realistas, incluye documentos obsoletos y contradictorios, y evalúa recuperación y generación por separado. Añade correcciones humanas al conjunto de evaluación solo después de adjudicarlas.

RAG mejora el acceso al conocimiento actual. No elimina la necesidad de gobernar las fuentes, controlar el acceso y medir con cuidado.

Esta nota es una síntesis original de diseño de RAG para ciberseguridad. No reproduce texto de ninguna fuente.

Lectura relacionada

• Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks