Prueba de $/token de tarjeta de inferencia de 180W antes de los racks GPU

Estás decidiendo si pilotar una tarjeta de inferencia antes de abandonar los racks GPU. La compensación es la potencia por token frente al riesgo de SLO. FuriosaAI afirma que el acelerador RNGD de 180W con refrigeración por aire iguala el rendimiento de una GPU mientras consume la mitad de la potencia o menos, por lo que la relación de potencia es al menos el doble a igual rendimiento, antes de considerar la refrigeración, el capex y el riesgo de software. Si mantiene tu SLO de servicio, la matemática del $/token mejora; si rompe la latencia, no.

Usa esta prueba de cinco puntos antes de comprometerte con la tarjeta. Cada punto es una verificación rápida, no una nota de adquisición.

• Línea base de $/token: registra el $/token actual de la GPU a tu tasa de solicitud objetivo y presupuesto de tokens.
• Potencia por token: compara la potencia de la tarjeta a igual rendimiento contra la línea base de la GPU.
• Compatibilidad con vLLM: verifica la carga de modelos, las definiciones del framework y un reemplazo compatible con vLLM.
• Riesgo de SLO/latencia: ejecuta la latencia final de extremo a extremo contra tu límite.
• Preparación de cadena de suministro/TCO: confirma el volumen de producción y el servicio comercial antes del despliegue.

El orden sigue el modo de fallo. Una línea base débil oculta los ahorros, una verificación de potencia débil oculta la refrigeración, una verificación de runtime débil rompe el servicio, una verificación de latencia débil rompe la experiencia del usuario y una verificación de suministro débil rompe el despliegue. La prueba es barata porque usa la carga de trabajo que ya ejecutas, no una demo del proveedor.

La potencia por token es la primera puerta

La producción de TSMC para 2026 para el fabricante de chips con sede en Seúl es de 20,000 aceleradores RNGD. En las pruebas del modelo EXAONE de LG, RNGD alcanzó 2,25 veces el rendimiento por vatio del sistema GPU de referencia, por lo que la misma salida de tokens necesita menos de la mitad de la potencia de referencia antes de la refrigeración y la sobrecarga de software. La eficiencia de potencia es la única métrica que sobrevive a un presupuesto de potencia de rack, porque la refrigeración, el margen de PDU y los límites térmicos escalan con vatios, no con afirmaciones de marketing. Una vía de refrigeración diferente puede reducir el número de rendimiento por vatio.

La compatibilidad de servicio es la segunda puerta

vLLM es la opción de servicio líder para LLMs de código abierto a escala, pero no resuelve todos los problemas de servicio. Los despliegues de vLLM suelen cargar primero checkpoints estilo Hugging Face, y algunos casos aún requieren formatos de cuantización orientados a NVIDIA. vLLM ha añadido capas de compatibilidad para que torch.compile, aceleradores de terceros y GPUs más antiguas sigan funcionando. La ruta de checkpoint es la primera prueba de compatibilidad, porque una ruta de runtime ausente detiene el benchmark antes de que comience.

La ruta de despliegue de FuriosaAI maneja la carga de modelos de Hugging Face y las definiciones de modelos de PyTorch, además de un reemplazo compatible con vLLM. Puedes ajustar las cargas de trabajo de vLLM para la rentabilidad eligiendo el mejor acelerador y configuración. Ejecutar gemma-3-27b-it en vLLM puede requerir aproximadamente 57 GB de VRAM como mínimo para una carga de trabajo específica. La memoria es el riesgo silencioso de latencia: un modelo que cabe a baja concurrencia puede fallar con carga de producción.

La latencia y el TCO deciden el cambio

Una carga de trabajo de servicio de vLLM puede establecer un límite de latencia P99 de extremo a extremo de 10 segundos como su SLO principal. También puede apuntar a 100 solicitudes por segundo y un presupuesto de 2,000 tokens. Si la tarjeta no alcanza ninguno de esos números, la ganancia en $/token no es real. La latencia final es la restricción orientada al usuario, y la tasa de solicitudes es la restricción orientada a ingresos. Una tarjeta que gana en potencia pero pierde en latencia final no es una opción de producción.

FuriosaAI recaudó $620 millones en una Serie D con una valoración post-money de aproximadamente $2,9 mil millones. El Fondo Nacional de Crecimiento de Corea invirtió $280 millones en la Serie D y fue el mayor inversor. LG Group ejecuta EXAONE en RNGD, Upstage sirve resúmenes de búsqueda en vivo en RNGD, y Samsung SDS inició un servicio comercial de NPU en RNGD en julio. El capital importa porque el suministro de aceleradores es un problema de calendario. Un chip en producción y un chip en pilotaje son curvas de costo diferentes.

La economía de las GPUs suele cotizarse en cómputo, pero el rack se cotiza en potencia. Un acelerador de inferencia de menor potencia cambia el denominador de la fórmula de $/token incluso cuando el precio del chip es mayor, por lo que la verificación de potencia por token precede a la verificación de precio unitario. Añade mano de obra y tiempo de inactividad a la línea de costos cuando la tarjeta necesite un layout de rack diferente.

Mantén el rack GPU hasta que la tarjeta supere los cinco puntos, y luego recalcula el precio del rack.