Presupuestar la decodificación especulativa como sistema de dos modelos

El compromiso es de dos artefactos, no de uno

La decodificación especulativa de modelo borrador convierte un artefacto de servicio y un pool de KV en dos de cada uno. La ganancia de latencia solo se paga si la longitud de aceptación cubre los pesos extra, el KV extra y el staging extra. La aritmética es: pesos del objetivo más pesos del borrador, KV del objetivo más KV del borrador, y una longitud de aceptación que debe superar el bloque de borrador. SGLang v0.5.18 se lanzó el 2026-08-21 e incluyó 710 pull requests de 212 contribuidores. En esa versión, DSpark, DFlash, MegaMoE y MTP pasaron a estar generalmente disponibles.

Cuente las dos descargas antes del tráfico: modelo objetivo, modelo borrador. Dimensione los dos pools de KV antes del tráfico: atención del objetivo, atención del borrador. Fije el objetivo de longitud de aceptación antes del tráfico: la entrada de latencia que decide si la segunda pasada se paga. Un borrador débil le hace pagar por dos modelos y aun así ejecutar el objetivo. Un borrador demasiado fuerte puede hacerle pagar de más en memoria por una ganancia de latencia que no necesita. Ponga el presupuesto de dos modelos en el runbook.

El presupuesto tiene cinco líneas verificables

Mantenga esta lista de verificación en el runbook. Cada elemento es una comprobación rápida antes de activar el interruptor del modelo borrador. El presupuesto que mantiene es un presupuesto de servicio objetivo/borrador: número de artefactos, geometría de caché de KV, longitud de aceptación del borrador, staging de arranque y gancho de codiseño. Las dos primeras líneas son la factura de memoria, la tercera es el dial de latencia, la cuarta es el impuesto de arranque y la quinta es el gancho de codiseño.

• Añada el borrador al presupuesto de imagen y almacenamiento.
• Dimensione el pool de KV del borrador a partir de su propia geometría de atención.
• Fije un objetivo de longitud de aceptación antes del despliegue.
• Prepare los checkpoints de forma superpuesta para que el arranque no consuma la ganancia de latencia.
• Compruebe que los puntos de extracción de características y el tamaño de bloque del borrador coinciden con los del objetivo.

Ejecute la lista de verificación antes del despliegue, no después de un incidente. Las cinco líneas son la puerta de entrada previa al despliegue. Las dos primeras líneas aparecen en el gráfico de memoria, la tercera en el gráfico de latencia, la cuarta en el registro de despliegue y la quinta cuando cambia el objetivo.

El pool de KV y la longitud de aceptación son los dos diales

El borrador es pequeño, pero aún así ocupa memoria. El checkpoint Ling-3.0-flash-dspark es un transformador BF16 de cinco capas: 2.560 dimensiones ocultas, 1.363.707.905 parámetros, 32 cabezales de consulta, 32 cabezales KV, características auxiliares del objetivo desde las profundidades 1, 11, 23, 29 y 35, un cabezal de Markov de rango 256 y un bloque DSpark de 8 tokens.

El borrador DSpark mantiene su propia caché de KV, dimensionada a partir de su bloque de 8 tokens, sus 32 cabezales y su geometría de atención de cinco capas, en lugar de compartir la caché del modelo objetivo. Use la geometría del borrador como entrada de dimensionamiento, no la longitud de contexto del objetivo.

No tome prestado el presupuesto de secuencia del objetivo al dimensionar el pool del borrador. El tamaño de bloque, el número de cabezales y el número de capas del borrador definen su propia huella. Un objetivo de contexto largo no hace que el pool del borrador sea de contexto largo; solo necesita la geometría que utiliza. Un objetivo de contexto corto puede hacer que el pool del borrador sea pequeño, pero sigue siendo una asignación separada. Regístrelo como una línea separada en el presupuesto de memoria.

inclusionAI, una unidad de Ant Group, publicó Ling-3.0-flash-dspark como el primer borrador DSpark no-Liquid, con 1,36B parámetros y una media macro de longitud de aceptación de 5,29 en nueve benchmarks. El borrador se despliega como un artefacto de modelo separado junto al modelo objetivo en una única invocación de servicio de SGLang. Fije el objetivo de aceptación a partir de su tráfico, no a partir de un solo benchmark. Una media macro es un punto de partida. Su mezcla de producción puede ser más fácil o más difícil que la mezcla del benchmark. Si su carga de trabajo acepta menos tokens por pasada de borrador, el cómputo extra y el tráfico KV del borrador pueden superar los pasos del objetivo ahorrados. Si acepta más, el mismo presupuesto de dos artefactos compra menor latencia. Haga del objetivo de aceptación un SLO de servicio, comprobado por solicitud o por lote en lugar de como una media global. Muestre el objetivo de aceptación en el runbook, la comprobación de despliegue y el panel de SLO.

El staging de arranque es parte del presupuesto

El tiempo de arranque es donde una ganancia de latencia puede desaparecer antes de la primera solicitud. En SGLang v0.5.18, el staging superpuesto de checkpoints hizo que Qwen3-32B en H100 arrancara un 8,6% a 11,7% más rápido que la precarga serial y 2,38 veces más rápido que el valor predeterminado simple, con 35,6 segundos frente a 84,8 segundos.

Trate eso como la línea de staging y hágalo parte del presupuesto de latencia. El borrador añade un segundo artefacto para preparar, por lo que el presupuesto de superposición debe cubrir ambos. El staging de arranque es el tiempo desde el arranque en frío hasta la primera solicitud. La carga serial hace que la penalización de arranque en frío sea aditiva; el staging paralelo la mantiene más cerca del artefacto más lento. Mantenga la línea de staging visible en el plan de despliegue, no oculta detrás de la carga del modelo. Nombre el modo de staging, el orden de artefactos y la comprobación de calentamiento en el presupuesto.

El gancho de codiseño es la razón por la que el borrador no es una solución de enchufar y usar. Un cambio en el objetivo requiere una nueva comprobación de aceptación, un cambio en el borrador requiere un nuevo presupuesto de KV, y un cambio en ambos requiere todo el plan de dos modelos.