La ciberdefensa autónoma necesita algo más que un LLM

La ciberdefensa autónoma suele describirse como un modelo que detecta un ataque y responde inmediatamente. Esa descripción oculta la parte difícil: decidir qué acciones son admisibles cuando las observaciones son parciales, el adversario se adapta y el coste de un error es asimétrico.

Una formulación más útil es la de un ciclo de control acotado. El ciclo puede automatizar transiciones repetitivas, pero cada transición necesita evidencia, una política y una forma de detenerse o recuperarse.

1. De la predicción al control

Sea $z_t$ el estado de seguridad estimado en el instante $t$, $o_t$ las observaciones y $a_t$ una acción candidata. Un ciclo simplificado es:

$$z_{t+1} = f(z_t, o_t, a_t), \qquad a_t \sim \pi(\cdot \mid z_t, P, R),$$

donde $P$ es la política activa y $R$ contiene las restricciones de recuperación. El modelo puede ayudar a estimar $z_t$ o a ordenar acciones, pero no debería redefinir $P$ silenciosamente.

2. Cuatro capas de autonomía

Conviene separar:

1. Detección: identificar una desviación y adjuntar evidencia.
2. Interpretación: relacionar la desviación con activos, tácticas y causas plausibles.
3. Planificación: comparar acciones permitidas por la política.
4. Ejecución: aplicar un cambio reversible o aprobado y observar su efecto.

Un LLM es un asistente natural para la interpretación y el borrador de planes. Es una autoridad mucho más débil para detectar y ejecutar, especialmente cuando la entrada contiene texto no confiable.

3. El punto de control humano forma parte del diseño

La supervisión humana no debe ser un botón añadido al final de una demo. El sistema debe mostrar la evidencia, la acción propuesta, el efecto esperado, la reversibilidad y las condiciones que la cancelarían. Las acciones de bajo riesgo pueden automatizarse bajo una política. Las acciones de alto impacto deben requerir aprobación explícita.

El límite puede representarse con una función de riesgo:

$$\rho(a) = \Pr(\text{daño}\mid a,E) \cdot C(a),$$

donde $E$ es la evidencia actual y $C(a)$ la consecuencia de una acción incorrecta. El umbral debe ser una decisión de gobernanza y no una preferencia oculta del modelo.

4. Recuperación y aprendizaje

La autonomía sin recuperación solo produce fallos rápidos. Cada acción automatizada necesita rollback, tiempo de expiración o cuarentena. El resultado debe registrarse como feedback, pero no convertirse en una etiqueta incuestionable. Una mitigación fallida puede deberse a una hipótesis errónea, una topología obsoleta o un control no disponible.

5. Cómo evaluar el comportamiento autónomo

Informa de algo más que la precisión de detección:

• tiempo desde la señal hasta una evidencia interpretable,
• tasa de acciones inseguras,
• proporción de acciones que requieren escalado,
• éxito de recuperación y tiempo de rollback,
• correcciones de los analistas,
• rendimiento con contexto retrasado, ausente o manipulado.

La afirmación más sólida no es que el sistema actúe solo. Es que sabe cuándo la evidencia es insuficiente, limita su autoridad y deja un rastro que otra persona puede inspeccionar.

Esta nota es una síntesis original de principios de autonomía acotada para ciberdefensa. No reproduce texto de ninguna fuente.