Tema de investigación

IA confiable

Sistemas de aprendizaje automático robustos, explicables y con preservación de privacidad para entornos distribuidos y adversarios.

IA confiableIA explicableIA con preservación de privacidad

La confianza como requisito de ingeniería

La IA confiable no es una única métrica. En sistemas sensibles de seguridad combina robustez, explicabilidad, privacidad, responsabilidad y evidencia de que un modelo se comporta de forma aceptable bajo estrés operativo.

  • Robustez frente a datos ruidosos, clientes adversarios y cambios de distribución.
  • Explicabilidad que ayuda a humanos a inspeccionar el comportamiento del modelo.
  • Diseño con privacidad para sistemas entrenados entre poseedores de datos sensibles.

Por qué los entornos distribuidos son más difíciles

Los sistemas de IA distribuida heredan los riesgos habituales del aprendizaje automático y añaden restricciones de comunicación, observabilidad parcial, pares heterogéneos e incentivos inconsistentes. El diseño confiable debe abordar el modelo, el protocolo y el contexto operativo de forma conjunta.

Investigación representada en el sitio

Las publicaciones y proyectos relacionados abordan la IA confiable mediante agregación robusta, protocolos descentralizados, aprendizaje con preservación de privacidad, apoyo explicable a la mitigación y evaluación en escenarios de ciberdefensa.

Preguntas frecuentes

¿Qué hace que un sistema de IA sea confiable?

Un sistema de IA confiable es robusto, explicable, consciente de la privacidad, auditable y evaluado en condiciones cercanas al entorno donde se usará.

¿La explicabilidad basta para tener IA confiable?

No. La explicabilidad es importante, pero debe combinarse con robustez, privacidad, evaluación, gobernanza y controles operativos.

¿Por qué la IA confiable es importante para aprendizaje federado?

Los sistemas federados dependen de múltiples clientes y actualizaciones compartidas. El diseño confiable ayuda a detectar contribuciones no fiables, proteger información sensible y mantener útil el aprendizaje colaborativo.

Proyectos relacionados

DEFENDIS: aprendizaje federado descentralizado para identificación y seguridad de dispositivos IoT

DEFENDIS desarrolla un marco para identificar de forma distribuida dispositivos IoT y abordar amenazas de seguridad mediante aprendizaje federado descentralizado.

Ver proyecto

ROBUST-6G: plataforma inteligente, automatizada y fiable de servicios de seguridad para 6G

ROBUST-6G estudia mecanismos de seguridad para sistemas 6G, incluyendo monitorización, gestión segura de datos, servicios de IA confiable, aprendizaje federado y respuesta ante amenazas.

Ver proyecto

TITAN: Análisis de amenazas confiable e inteligente

Proyecto con el Cyber-Defence Campus de armasuisse que investiga el intercambio confiable de inteligencia de amenazas y algoritmos de verificación.

Ver proyecto

DATRIS: IA descentralizada para sistemas inteligentes confiables y eficientes en recursos

Desarrolló soluciones de IA descentralizada para abordar restricciones computacionales y validación de confianza bajo patrocinio de armasuisse.

Ver proyecto

Recorrido de lectura

Avanza desde los fundamentos hasta el diseño y la evaluación. Cada nota aborda una pregunta distinta.

Todas las notas de este tema