Ejecutar SGLang v0.5.19: actualización para MoE multinodo y control de beam search

Actualiza solo cuando la decodificación o la atención sean el cuello de botella

Estás decidiendo si SGLang v0.5.19 es una actualización de servicio, una función de eval o una trampa de configuración. El equilibrio es estrecho: la decodificación MoE multinodo y la atención Lean justifican la actualización, mientras que el beam search se mantiene como una ruta de corrección. La aritmética es el control: en MI355X, la ganancia del kernel Lean reportada alcanza como máximo 1.52x de throughput y como máximo 3.62x de reducción en la latencia inter-token. Si ninguna de las dos cargas de trabajo aplica, la liberación es mayormente ruido.

DeepEP v2 ElasticBuffer se selecciona con --moe-a2a-backend deepep_v2 para FP8 DeepSeek-V3/V4 y Qwen3-MoE; los buffers de tamaño fijo permiten que la decodificación MoE se ejecute bajo gráficos CUDA entre nodos. La ganancia es real cuando la decodificación es la parte lenta y el límite del gráfico es el impuesto.

SGLang v0.5.19 estuvo disponible el 5 de septiembre de 2026, con 786 pull requests fusionados de aproximadamente 214 contribuidores. El volumen no es el factor decisivo. Decide si la decodificación o la atención es el cuello de botella.

El costo es la superficie de compatibilidad. Una liberación que cambia la decodificación, la atención y la semántica de solicitud es una decisión de enrutamiento.

v0.5.18, liberado alrededor del 22 de agosto de 2026, ya había añadido --startup-weight-load-mode overlap; la carga de pesos y la captura de gráficos CUDA ahora se ejecutan en paralelo en lugar de uno tras otro. Las ganancias de v0.5.19 son independientes de esa ruta de arranque en frío.

En MI300X y MI355X, la atención Lean se entrega activada por defecto; establece SGLANG_DISABLE_LEAN_ATTENTION=1 para desactivarla. El valor por defecto importa cuando la atención es el cuello de botella.

Mantén beam_width detrás de un control de corrección

v0.5.19 expone el beam search con el parámetro de solicitud beam_width, y la respuesta contiene las n mejores secuencias en lugar de una secuencia muestreada. La forma encaja con eval y reranking, donde el conjunto clasificado es el resultado.

El llamador debe aceptar múltiples secuencias, puntuarlas y elegir una. Si el endpoint quiere una respuesta, las secuencias adicionales son sobrecarga.

Para medición, el conjunto clasificado es la salida; para reranking, es la entrada de la siguiente etapa. El muro de compatibilidad es la razón por la que se mantiene fuera del servicio general.

Ejecuta la verificación de tres controles antes del despliegue

Cada control es una verificación de un minuto. Ejecuta los controles antes de cambiar la bandera. Los dos primeros mantienen el beam search fuera de las rutas que no pueden mezclarse con él. El último acota la actualización a las cargas de trabajo que la justifican.

• Usa beam_width solo donde la salida n-mejor sea un requisito de corrección, como eval o reranking.
• beam_width está prohibido en rutas que necesiten decodificación especulativa, desagregación, atención DP o HiCache.
• Actualiza para DeepEP v2 ElasticBuffer o atención Lean solo si las ganancias de throughput y latencia de decodificación MoE multinodo o MI300X/MI355X aplican.

Trata los controles como una decisión de despliegue. El beam search pertenece solo donde el conjunto clasificado es la respuesta, no en un endpoint de chat que espera una secuencia muestreada. Las funciones excluidas convierten la ruta de servicio en una verificación de configuración, no en un debate. La actualización se mantiene acotada a las cargas de trabajo que realmente usan las dos ganancias: si tu modelo no es la carga de trabajo MoE correspondiente, la ganancia de decodificación no es tuya, y si tu hardware no es el objetivo de atención correspondiente, la ganancia de atención no es tuya.

La lista de verificación también es un plan de reversión. Si un control falla, la solución es mover la carga de trabajo, no debilitar el control. Mantén la ruta de servicio predecible.

Antes de actualizar, toma una instantánea de la mezcla de solicitudes. Marca qué endpoints necesitan una secuencia y cuáles necesitan conjuntos clasificados. Luego ejecuta la lista de verificación. Durante el despliegue, mantén el beam search detrás de un endpoint separado o una ruta de modelo separada. Una ruta separada te permite comparar latencia y calidad sin mezclar tráfico. Mantén la línea base visible durante el despliegue.

Si una solicitud falla el segundo control, no intentes hacerla pasar desactivando una función a la vez. La incompatibilidad es la función, y ajustar alrededor de ella es esfuerzo desperdiciado. Si la lista de verificación pasa, actualiza. Si no, quédate en la liberación actual y revisa cuando tu carga de trabajo cambie.