La etiqueta D-MoE se usa para más de una idea en la literatura. Puede referirse a una mixture of experts dinámica o profunda, mientras que otros trabajos distribuyen el routing y el cómputo experto entre dispositivos. La distinción debe explicitarse antes de hacer una afirmación sobre el sistema.
En esta nota usamos D-MoE como abreviatura práctica de un despliegue distribuido de mixture of experts.
1. Qué se distribuye
Supón que el router está en el nodo y el experto en el nodo . El camino de un token incluye ahora la transferencia de red:
La activación dispersa reduce el cómputo experto por token, pero una mala colocación puede convertir la comunicación en el coste dominante.
2. Restricciones edge
Un despliegue distribuido debe tener en cuenta:
- aceleradores heterogéneos,
- latencia y disponibilidad intermitente de los enlaces,
- residencia de los expertos en memoria,
- privacidad de las representaciones de tokens,
- fallos durante una petición enrutada,
- desequilibrio causado por consultas correlacionadas.
El routing debe incluir disponibilidad y coste, no solo afinidad del modelo.
3. Distribuido no significa descentralizado automáticamente
Una arquitectura puede repartir expertos entre nodos edge y mantener un router central y una única autoridad. Puede ser la decisión correcta. Es diferente de un sistema peer-to-peer o descentralizado donde también se distribuyen coordinación y membresía.
Explicitar esta diferencia evita atribuir propiedades de privacidad o resiliencia que la arquitectura no proporciona.
4. Controles de fiabilidad y seguridad
Usa mensajes de routing autenticados, payloads acotados, señales de salud por experto y una ruta alternativa cuando un experto no esté disponible. Conserva qué expertos atendieron cada petición y con qué frecuencia cambió la ruta.
Un adversario que pueda influir en el routing podría producir denegación de servicio, extraer información de un experto especializado o provocar deriva sistemática de calidad. Estas amenazas deben formar parte de la evaluación desde el principio.
5. Un despliegue medido
Empieza con un plano de control centralizado y workers expertos distribuidos. Mide latencia, utilización y recuperación ante fallos. Después comprueba si descentralizar el routing mejora lo suficiente el requisito objetivo como para justificar su coste de coordinación.
D-MoE es un problema de sistemas antes que un eslogan. La ubicación del router, los expertos y la evidencia determina sus propiedades reales.
Esta nota es una síntesis original de diseño de MoE distribuido. No reproduce texto de ninguna fuente.
