D-MoE: Mixture of Experts distribuida para LLMs en edge

La etiqueta D-MoE se usa para más de una idea en la literatura. Puede referirse a una mixture of experts dinámica o profunda, mientras que otros trabajos distribuyen el routing y el cómputo experto entre dispositivos. La distinción debe explicitarse antes de hacer una afirmación sobre el sistema.

En esta nota usamos D-MoE como abreviatura práctica de un despliegue distribuido de mixture of experts.

1. Qué se distribuye

Supón que el router está en el nodo $r$ y el experto $E_i$ en el nodo $v_i$. Una aproximación de ejecución serial incluye la transferencia de red:

$$T(h_t) = T_{r} + \sum_{i\in g_t}\left(T_{\text{link}}(r,v_i)+T_{E_i}\right) + T_{\text{merge}}.$$Si no ves la fórmula completa, enfócala y usa las flechas izquierda y derecha, o desliza horizontalmente.

La activación dispersa reduce el cómputo experto por token, pero una mala colocación puede convertir la comunicación en el coste dominante.

2. Restricciones edge

Un despliegue distribuido debe tener en cuenta:

• aceleradores heterogéneos,
• latencia y disponibilidad intermitente de los enlaces,
• residencia de los expertos en memoria,
• privacidad de las representaciones de tokens,
• fallos durante una petición enrutada,
• desequilibrio causado por consultas correlacionadas.

El routing debe incluir disponibilidad y coste, no solo afinidad del modelo.

3. Distribuido no significa descentralizado automáticamente

Una arquitectura puede repartir expertos entre nodos edge y mantener un router central y una única autoridad. Puede ser la decisión correcta. Es diferente de un sistema peer-to-peer o descentralizado donde también se distribuyen coordinación y membresía.

Explicitar esta diferencia evita atribuir propiedades de privacidad o resiliencia que la arquitectura no proporciona.

4. Controles de fiabilidad y seguridad

Usa mensajes de routing autenticados, payloads acotados, señales de salud por experto y una ruta alternativa cuando un experto no esté disponible. Conserva qué expertos atendieron cada petición y con qué frecuencia cambió la ruta.

Un adversario que pueda influir en el routing podría producir denegación de servicio, extraer información de un experto especializado o provocar deriva sistemática de calidad. Estas amenazas deben formar parte de la evaluación desde el principio.

5. Un despliegue medido

Empieza con un plano de control centralizado y workers expertos distribuidos. Mide latencia, utilización y recuperación ante fallos. Después comprueba si descentralizar el routing mejora lo suficiente el requisito objetivo como para justificar su coste de coordinación.

D-MoE es un problema de sistemas antes que un eslogan. La ubicación del router, los expertos y la evidencia determina sus propiedades reales.

El camino crítico importa más que sumar expertos

Cuando los expertos se ejecutan en paralelo, el tiempo de una capa depende del experto más lento requerido para completar la combinación. Una aproximación para ese caso es:

$$T_{layer}\approx T_{router}+\max_{i\in g_t} (T_{send,i}+T_{queue,i}+T_{expert,i}+T_{return,i})+T_{merge}.$$Si no ves la fórmula completa, enfócala y usa las flechas izquierda y derecha, o desliza horizontalmente.

La suma de tiempos resulta adecuada para ejecución serial, pero sobreestima un paralelismo ideal. El máximo tampoco describe por completo una red compartida: las transferencias pueden competir por el mismo enlace. Indica qué supuesto usa cada estimación antes de comparar resultados.

WDMoE estudia distribución inalámbrica de expertos con coordinación en una estación base y evaluación en hardware. Es una referencia específica para colaboración edge; distribuir los expertos no convierte automáticamente el plano de control en descentralizado.

Una prueba de colocación reproducible

Como propuesta, compara expertos residentes en un único servidor, repartidos en una red local y repartidos bajo limitación de ancho de banda. Mantén el mismo checkpoint, precisión numérica, conjunto de consultas y límite de concurrencia. Separa precarga de pesos, arranque en frío y ejecución con cachés calientes.

Registra bytes por token, tiempo de cola y solicitudes que incumplen el plazo, además de tokens por segundo. Si un experto deja de responder, una sustitución solo es válida si el modelo y el motor admiten ese mecanismo y se ha evaluado su efecto. Elegir otro experto arbitrariamente cambia el cálculo del modelo.

Qué información cruza la red

Las activaciones no son texto legible, pero no deben asumirse anónimas. El modelo de amenaza debe incluir al operador del experto remoto, las trazas de routing y los registros de errores. Define límites de retención y evita mezclar cachés entre usuarios.

Los fundamentos de MoE explican el routing; la evaluación con golden sets permite comprobar que una mejora de infraestructura no oculta regresiones de respuesta.