Deja de re-prellenar contextos híbridos largos: cuándo una sola caché de árbol compensa

Estás sirviendo un modelo de atención híbrida y el mismo prefijo largo se está prellenando de nuevo. La caché radix unificada de SGLang cambia el estado adicional de nivel por menos pasadas de prellenado repetidas. En los resultados de HiCache de SGLang, DeepSeek-V4-Flash con un nivel L3 Mooncake entregó 145,5K tokens de entrada efectivos/s con una tasa de acierto del 98 %, mientras que la caché solo GPU entregó 9,4K. La decisión es si el prefijo merece la pena conservarlo. Activa el árbol solo cuando el prefijo sea reutilizable; de lo contrario, añade estado sin ahorrar trabajo.

La atención híbrida es la primera puerta

La Caché Radix Unificada de SGLang modela DeepSeek-V4 como FULL más SWA, Kimi-K3 como FULL más MAMBA, e Inkling como los tres componentes en un solo árbol. La puerta es arquitectónica: el árbol está diseñado para estilos de atención mixtos. Un modelo de atención total no necesita esa ruta híbrida. Un modelo con estado de ventana deslizante o recurrente puede mantener estados de componentes diferentes en un solo árbol en lugar de una caché separada por estilo.

Activa el interruptor solo tras cuatro comprobaciones

Los operadores pueden activar la Caché Radix Unificada de SGLang estableciendo la variable de entorno SGLANG_ENABLE_UNIFIED_RADIX_TREE en 1. La bandera es barata; la prueba de carga es el coste. La decisión es específica de la carga de trabajo. La Caché Radix Unificada de SGLang está diseñada para mantener alta la tasa de acierto de la caché y lento el crecimiento del TTFT en cargas de trabajo de varios turnos cuando los niveles inferiores conservan el prefijo reutilizable tras agotarse la capacidad de GPU. Una comprobación fallida es un alto, no una razón para ajustar más.

• Confirma que el modelo tiene un componente no FULL, como SWA o MAMBA.
• Comprueba que el tráfico tiene prefijos largos reutilizables o sesiones de varios turnos.
• Identifica el cuello de botella como TTFT o coste de tokens de entrada.
• Demuestra que puedes medir la tasa de acierto, el TTFT y los tokens de entrada efectivos/s frente a las líneas base de L1, L2 y L3.

Un modelo que ya encaja en una ruta más simple no debería recibir una caché genérica. La puerta de tráfico apunta a prefijos que sobreviven entre turnos. El cuello de botella debe identificarse antes de añadir estado. La ganancia debe ser auditable antes de comprometer capacidad y antes de escalarla.

Mide los niveles antes de confiar en el árbol

En el benchmark de varios turnos de SGLang, Inkling-Small con L3 entregó 67,1K tokens de entrada efectivos/s, una tasa de acierto del 96,8 % y un TTFT de 1,23 segundos, mientras que L1 solo entregó 15,5K y L1 más L2 entregó 21,1K. Los niveles inferiores cambian el tamaño de la ganancia; el nivel superior no es un sustituto de ellos.

El núcleo experimental de árbol en Rust de SGLang redujo el TTFT hasta un 42 % en cargas de trabajo de atención con ventana deslizante larga. Trátalo como un experimento opcional tras establecer una línea base estable en el árbol principal; consérvalo si la latencia de ventana larga mejora, descártalo si añade varianza. No lo conviertas en el valor predeterminado.

En las trayectorias de agentes de SWE-bench, la expulsión consciente de sesión en la Caché Radix Unificada redujo el TTFT entre un 2,9 % y un 16,6 % respecto a la línea base de HiRadixCache para DeepSeek-V4-Pro y Qwen3.5-397B-A17B. Las diferencias más pequeñas aún apuntan a la misma condición de operación: la propiedad de sesión mantiene la latencia del primer token más plana.

Comienza con la línea base que ya ejecutas. Registra el rendimiento de la caché, la tasa de acierto, el TTFT y los tokens de entrada efectivos/s para cada nivel, luego añade el siguiente nivel y compara lado a lado. Mantén la misma mezcla de prompts, el mismo tamaño de lote y la misma longitud de sesión para cada ejecución. No mezcles formas de tráfico entre ejecuciones. Mantén la ventana de ejecución fija. Una comparación solo es útil si el tráfico es el mismo; cambia un nivel a la vez para que la diferencia sea atribuible. La latencia del primer token es el síntoma visible para el usuario; el rendimiento de entrada es la señal de coste. Si el árbol ralentiza la ruta crítica, la caché no está ayudando.

Cada prefijo no acertado se paga de nuevo en cómputo de prellenado, y cada acierto desplaza el coste hacia la memoria y la red. No actives el árbol porque el modelo sea nuevo o una demo pareciera rápida. Si el tráfico es corto, sin estado o dominado por prompts únicos, la caché tiene poco que conservar. Mantén cachés separadas o una caché solo GPU y vuelve a probar cuando cambie la mezcla de prefijos.