Añade la utilización de GPU junto a $/token antes de tu próximo contrato de GPU

Tu factura de GPU tiene dos partidas: $/token y utilización de GPU. El equilibrio está entre el precio del token y el silicio inactivo: $/token puede parecer barato mientras la utilización se mantiene baja, y la utilización puede parecer alta mientras el precio del token sube. La aritmética es la puerta. Nvidia GB300 NVL72 redujo el coste por millón de tokens hasta 35 veces en comparación con Hopper a baja latencia, con la ventaja estrechándose a mayor interactividad y tamaños de lote más pequeños. Antes de firmar el próximo contrato de GPU, coloca la utilización junto a $/token y prueba la mezcla que realmente se ejecutará.

Pon precio al tiempo inactivo antes de poner precio a los tokens

Un modelo de coste de servicio necesita un par, no una sola partida. La partida de tokens es $/token. La partida de utilización es el tiempo útil de tokens sobre el tiempo facturable de GPU. El multiplicador de coste es el tiempo facturable de GPU dividido por el tiempo útil de tokens. Una flota facturada por el reloj completo pero que sirve tokens solo parte del tiempo eleva el precio del token incluso cuando la cotización del proveedor no cambia. Tanto el decodificado inactivo como el prellenado inactivo suman a ese precio. La justificación financiera de Upper90 para el acuerdo con General Compute trató la utilización continua de inferencia como más financiable que la utilización de hardware vinculada a horarios de entrenamiento episódicos. Si la cotización del proveedor es fija, la utilización es la única palanca que controlas antes de la factura.

La prueba de recuperación de carga mixta detecta la brecha de inactividad

• Define la mezcla de producción: longitudes de prompt, tamaños de contexto, concurrencia y objetivos de latencia. Mantén una tabla con clase de solicitud, participación esperada y SLO.
• Mide la utilización por etapa: tiempo ocupado de prellenado, tiempo ocupado de decodificación y tiempo inactivo. Un panel muestra qué etapa está saturada durante un pico de tokens.
• Prueba la recuperación tras un pico: envía una carga mixta, hazla picar y luego vuelve a la línea base. La latencia de cola y $/token regresan a la línea base sin un reinicio manual; una demostración del proveedor que ejecuta una sola clase de solicitud puede ocultar la brecha de inactividad.
• Compara la opción desfragmentada: cuando prellenado y decodificación se separan en hardware diferente, verifica si la separación mejora la utilización o añade sobrecarga de transferencia. Una ejecución lado a lado usa la misma mezcla y el mismo SLO.

El marco de inferencia Dynamo de Nvidia utiliza servicio desfragmentado para separar prellenado y decodificación en múltiples GPUs, con el objetivo de mejorar la utilización de recursos y reducir el coste por token. General Compute combina tarjetas AMD MI300X para prellenado intensivo en cómputo con RDU SambaNova SN50 para decodificación. En julio de 2026, una plataforma heterogénea con cuatro GPUs Nvidia H200 y 16 RDU SambaNova SN50 alcanzó 763 tokens por segundo en MiniMax M2.7 con un contexto de 10,000 tokens y superó en varias veces a los proveedores solo de GPU en la misma prueba. Reprodúcela.

Las puertas de referencia mantienen honestas las afirmaciones de megakernel

Flapping Airplanes recaudó una Serie A de $1.000 millones copilotada por Index y Lux con una valoración informada de $6.000 millones. La ronda se anunció el 21 de octubre de 2026, nueve meses después del lanzamiento. Sus fundadores afirman que el marco de megakernel puede ejecutar entrenamientos completos, servir inferencia y jugar videojuegos, incluyendo las tres cosas a la vez en un solo kernel. La afirmación es el objetivo de la prueba.

Una puerta de referencia debe comparar la carga de trabajo afirmada con tu mezcla de producción. El rendimiento de AMD fue competitivo cuando solo se habilitó un subconjunto de optimizaciones de inferencia, pero no competitivo frente a Nvidia cuando se habilitaron las tres optimizaciones principales. El rendimiento sostenido informado por SambaNova de más de 450 tokens por segundo a longitudes de contexto más largas permaneció como afirmación de la empresa en lugar de validación independiente hasta que se acumularon más benchmarks. Ejecuta la misma puerta sobre cualquier afirmación de megakernel: mismo modelo, mismo contexto, mismo objetivo de latencia, misma mezcla.

La puerta debe incluir arranques en frío, fallos de caché y crecimiento de contexto. Una sola ejecución limpia no es suficiente. Una mezcla de producción es más caótica. Para un proveedor de nube centrado en GPU, la puerta protege el margen; para un equipo de plataforma, protege el SLO. Enruta el tráfico de producción solo después de que la prueba de recuperación de carga mixta supere y la puerta de referencia coincida con tu mezcla de producción.