P-RAG: llevar conocimiento de seguridad al modelo

Parametric RAG, o P-RAG, cambia el lugar donde se incorpora el conocimiento recuperado. El RAG estándar coloca documentos seleccionados en el contexto del modelo durante la inferencia. Los enfoques paramétricos intentan codificar documentos externos en los parámetros del modelo, a menudo mediante una fase de parametrización o adaptación, y pueden combinarse con recuperación convencional.

La distinción importa cuando un corpus de dominio se utiliza repetidamente y enviar el mismo contexto largo resulta costoso.

1. Dos caminos de memoria

Sea $M_\theta$ el modelo base y $D$ un corpus de dominio. El RAG contextual calcula:

$$y \sim M_\theta(q, C_k(q;D)).$$Si no ves la fórmula completa, enfócala y usa las flechas izquierda y derecha, o desliza horizontalmente.

La ampliación paramétrica produce parámetros adaptados $\theta_D$ y genera:

$$y \sim M_{\theta_D}(q).$$Si no ves la fórmula completa, enfócala y usa las flechas izquierda y derecha, o desliza horizontalmente.

Un sistema híbrido puede usar ambos. El primer camino es más fácil de actualizar y citar. El segundo puede reducir contexto repetido y facilitar el acceso a patrones frecuentes del dominio.

2. Qué pasa a los parámetros

Codificar conocimiento en parámetros no crea una base de datos perfecta. Cambia el comportamiento estadístico del modelo. Una memoria parametrizada puede comprimir hechos, relaciones y estilo, pero perder procedencia exacta o mezclar versiones antiguas y nuevas.

En seguridad esto exige una regla estricta: el modelo no debe tratarse como fuente autoritativa de políticas cambiantes, indicadores o hechos de incidentes. Para responder puede seguir haciendo falta un recuperador de documentos actuales.

3. Preguntas de evaluación

Compara P-RAG y RAG contextual en:

• calidad de respuesta y adaptación al dominio,
• tiempo de actualización cuando cambia una fuente,
• procedencia y cobertura de citas,
• interferencia con conocimiento no relacionado,
• comportamiento de negativa cuando falta un hecho,
• coste de inferencia y longitud de contexto,
• riesgo de privacidad y memorización.

La pregunta no es solo si el modelo adaptado responde correctamente más consultas. Es si la ganancia sobrevive a las actualizaciones y sigue siendo inspeccionable.

4. Un patrón híbrido más seguro

Usa conocimiento parametrizado para conceptos estables y repetidos, y recupera evidencia actual para afirmaciones volátiles. La respuesta debería indicar qué hechos proceden de documentos actuales y qué capacidades reflejan la adaptación del modelo.

P-RAG se entiende mejor como una decisión de diseño de memoria y no como un sustituto de la gobernanza de la recuperación.

P-RAG no es simplemente cambiar el nombre al fine-tuning

El trabajo Parametric Retrieval Augmented Generation, presentado como preprint en 2025, propone parametrizar documentos en las redes feed-forward del modelo. Es una formulación concreta; no todo ajuste con documentos ni todo adaptador de dominio implementa ese método. Las ecuaciones anteriores describen el diseño de memoria a alto nivel, no el algoritmo completo del artículo.

Para estudiar su utilidad, separa tres costes: preparación de documentos, parametrización y consulta. Un ahorro durante la inferencia puede desaparecer si el corpus cambia continuamente. En seguridad, la frecuencia de actualización de una política suele importar tanto como la latencia de respuesta.

Un experimento de conocimiento que caduca

Propongo un corpus de laboratorio con una política estable y dos revisiones incompatibles de un procedimiento. Evalúa antes y después de introducir la revisión nueva. Comprueba si el sistema cita la versión correcta, conserva la anterior como historia y evita mezclar ambas como si estuvieran vigentes a la vez.

Compara modelo base, RAG contextual, adaptación paramétrica y combinación híbrida con los mismos casos. Incluye preguntas cuya respuesta no exista en el corpus. Acertar un hecho conocido y reconocer que falta otro son capacidades diferentes.

Borrado, permisos y procedencia

Retirar un documento del índice no garantiza retirar lo aprendido en parámetros. Si distintos usuarios tienen acceso a corpus distintos, el servicio debe controlar qué adaptación se carga y qué respuestas puede revelar. Una etiqueta de tenant junto al prompt no sustituye ese aislamiento.

La procedencia tampoco puede deducirse de que el modelo afirme recordar una fuente. Para afirmaciones volátiles, exige un documento vigente recuperado y verificable. La guía de RAG contextual desarrolla esa ruta de evidencia; las métricas de LLMs permiten comparar coste, actualización y corrección sin reducirlo todo a una puntuación.