Benchmarca el compilador de Luminal antes de que se convierta en una línea presupuestaria de serving

El throughput de decodificación y el gasto en idle definen la línea presupuestaria

La compensación está entre el throughput de decodificación y el gasto en idle. Menos tokens por GPU-hora significa más GPU-horas facturables para el mismo tráfico. Un compilador gana su lugar en el presupuesto de serving solo cuando mejora los tok/s por GPU-hora en tu propia carga de trabajo.

Solo con cambios de software se logró un aumento de 5x en tokens por vatio para DeepSeek V4 en un mes, sobre el mismo hardware.

Luminal cerró una Serie A de $29.2M. La ronda está fechada el 7 de octubre de 2026. Su financiación semilla de noviembre de 2025 fue de $5.3M. Y Combinator, Felicis, Liquid 2 Ventures, Saga Ventures y Palm Drive Capital figuran entre los inversores registrados de Luminal. Su producto combina un compilador de ML con una nube serverless para la optimización y despliegue de modelos de PyTorch. El compilador convierte modelos de PyTorch en código GPU optimizado y se describe como capaz de elevar la utilización de GPU por encima del 80%. Usa la financiación para dimensionar el piloto, no para aprobar el stack.

Las afirmaciones del vendor necesitan una puerta de carga de trabajo

Los benchmarks del vendor son útiles, pero no son tu p95. Para una fábrica de IA, los tokens por vatio —no el número de GPUs, los teraflops ni la densidad de rack— determinan si puede justificar su compromiso con la red eléctrica.

GB300 NVL72 entregó hasta 25 veces más tokens por vatio que Hopper en DeepSeek V4 Pro, hasta 20 veces más en GLM5.1 y hasta 10 veces más en Kimi K2.6 en los benchmarks de SemiAnalysis InferenceX.

Con Gemma 4 31B y un contexto de 100,000 tokens, el sistema Groq 3 LPX alcanzó 3,400 tokens por segundo para un solo usuario, marcando un récord para ese modelo. Tu p95 TPOT es el número que importa.

Las proyecciones de Nvidia de 35x más throughput de inferencia por megavatio y hasta 10x de oportunidad de ingresos para la configuración combinada de Vera Rubin NVL72 y Groq 3 LPX eran proyecciones a futuro, no resultados de producción validados de forma independiente.

AutoPass, un sistema de ajuste de LLVM basado en LLM, produjo aceleraciones medias, medidas como medias geométricas, de 1.043x en x86-64 y 1.117x en ARM64 respecto a LLVM -O3.

La puerta de benchmark es una lista de verificación con carga de trabajo fija

Ejecuta el candidato contra tu stack de serving actual bajo una carga de trabajo fija. Registra los siguientes números.

• Mismo modelo, misma cuantización, mismo batch size.
• Registra tok/s por GPU-hora.
• Registra la utilización de GPU.
• Registra decode tok/s.
• Registra p95 TTFT y TPOT.
• Calcula el coste por 1M de tokens, incluido el coste de idle o scale-to-zero.
• Compara contra tu stack de serving de LLM actual.
• Rechaza si alguna métrica regresa.

El primer punto elimina confusores; los tres siguientes separan el throughput de la utilización; el par de latencia protege a los usuarios; el punto de coste convierte el rendimiento en una línea presupuestaria. Conserva los artefactos de la ejecución: hash del modelo, cuantización, batch size, forma del tráfico y la traza cruda de tok/s. Guarda la fecha, el operador y el contenedor.

No apruebes un compilador porque mejora una sola métrica. Un stack de serving en producción tiene una mezcla de prefill y decode, una distribución de longitud de contexto y una curva de concurrencia.

Si el compilador gana en salidas cortas pero pierde en contextos largos, tu p95 TPOT lo mostrará. Un batch más grande puede comprar throughput de decode manteniendo el coste por token plano. Una cuantización diferente invalida la comparación. Un nuevo driver, contenedor o pool de GPU añade coste de migración.

Juzga el compilador por la línea presupuestaria, el SLO de latencia y la carga operativa. Mantén la puerta en la solicitud de cambio.

El coste es el número final

Un compilador puede elevar el throughput de decode y aun así perder en coste de GPU en idle si mantiene GPUs calientes para tráfico que llega en ráfagas. La inferencia serverless puede eliminar ese coste en idle, pero solo si el scale-to-zero es real y los cold starts no rompen el p95 TTFT.

Convierte cada ejecución en coste de inferencia por token. Incluye las GPU-horas, el tiempo en idle, los cold starts y la penalización de potencia. Una fábrica de IA típica convierte solo alrededor del 60% de la electricidad de la red en cómputo de IA útil, con el 40% restante perdido en refrigeración, distribución de potencia e ineficiencias a nivel de rack. Esa pérdida cambia el punto de equilibrio de la línea presupuestaria.