Recalcula tu $/token para 70B: qué significa el alza de precio de la B200 para la inferencia autoalojada
Los precios de alquiler de B200 y H100 han cambiado, por lo que el coste de la inferencia autoalojada debe recalcularse a partir de las tarifas actuales por hora de GPU, el rendimiento sostenido y la utilización.
Una hoja de cálculo de $/token basada en el precio por hora de GPU del trimestre anterior está desactualizada. La inferencia autoalojada supera a la alquilada solo cuando el rendimiento sostenido y la utilización son lo suficientemente altos como para cubrir la capacidad inactiva, el sobrecoste de fiabilidad y las operaciones. La aritmética es el precio actual por hora de GPU dividido entre los tokens sostenidos por hora por GPU, ajustado por utilización. Parta de los tokens por segundo sostenidos, conviértalo a una tasa horaria de tokens y luego aplique la utilización.
Las líneas de B200 y H100 subieron
El índice OCPI-B200 para cómputo de alquiler NVIDIA B200 se cerró en $6.82 por hora de GPU el 9 de septiembre de 2026, equivalente a $163.79 por día de GPU y aproximadamente $4,913.70 por mes de GPU. El índice subió un 5.6% en los siete días y un 20.2% en los treinta días anteriores al 9 de septiembre de 2026, desde $5.68 por hora de GPU. El Ornn Compute Price Index para cómputo de alquiler H100 SXM se cerró en $2.96 por hora de GPU el 9 de septiembre de 2026, equivalente a $71.02 por día de GPU y aproximadamente $2,130.60 por mes de GPU. El índice compuesto de alquiler H100 de SemiAnalysis tocó fondo cerca de $2.79 a $2.80 por hora de GPU a mediados y finales de 2025 antes de revertir al alza. Para abril de 2026, el índice compuesto de contrato spot H100 era de $2.82 por hora de GPU.
La utilización es el multiplicador oculto
Una hora de GPU es un coste fijo. Un alto rendimiento sostenido por GPU con alta utilización hace que el denominador sea grande y el $/token baje. Un bajo caudal o una flota inactiva hace que el denominador se reduzca y el $/token suba. La fórmula no se preocupa por el nombre del modelo; se preocupa por el rendimiento sostenido bajo su mezcla de prompts, tamaño de lote, cuantización y enrutamiento.
Añada el sobrecoste de capacidad y fiabilidad antes de comparar con la inferencia alquilada. El margen de picos, el conmutado por fallo, el mantenimiento y el trabajo en guardia pueden consumir horas de GPU que no producen tokens facturables. Ese sobrecoste eleva el precio efectivo por hora de GPU, por lo que un stack autoalojado necesita un margen de utilización mayor del que sugiere una prueba de caudal pura.
El punto de operación importa. Un lote mayor puede aumentar los tokens/seg por GPU, pero también puede empujar la latencia más allá de su nivel de servicio. Una cuantización más agresiva puede aumentar el caudal, pero puede cambiar la calidad de la salida. El punto correcto es el que cumple su nivel de servicio manteniendo el denominador alto.
- Precio actual por hora de GPU para el SKU exacto y el plazo del contrato.
- Tokens/seg sostenidos por GPU bajo su mezcla de prompts, tamaño de lote y cuantización.
- Utilización tras restar tiempo inactivo, mantenimiento y conmutado por fallo.
- Sobrecoste de capacidad para demanda pico y fiabilidad.
- Restricciones de calidad que limitan la cuantización o el tamaño de lote.
- Niveles de servicio de latencia que limitan el tamaño de lote y elevan el coste por token.
El tráfico con picos reduce la utilización. El tráfico estable la aumenta. El mismo hardware puede ser una ganga o una trampa.
La oferta y la demanda explican la dirección
El alza de precios se vinculó a las restricciones de suministro de Blackwell por el empaquetado CoWoS y la capacidad HBM, junto con la demanda de inferencia superando a la de entrenamiento. TrendForce proyectó que la brecha de oferta y demanda de CoWoS se reduciría de aproximadamente 20% a 10% para finales de 2026, con la capacidad mensual de CoWoS de TSMC acercándose a 120,000 a 140,000 obleas. El pronóstico de Gartner del 10 de agosto de 2026 asignó el 55% del gasto en IaaS optimizado para IA de 2026 a inferencia y el 45% a entrenamiento, con un gasto en nube de inferencia de $23.3 mil millones y de $19 mil millones en entrenamiento dentro de una categoría que se espera que crezca un 96% hasta $42 mil millones.
La dirección importa más que el nivel. Los precios en alza hacen que un precio por hora de GPU del trimestre anterior sea un dato obsoleto. Una oferta que se alivie puede hacer que ese dato convenga. Una demanda que supere a la oferta, quizás no.
La decisión es una prueba de precio actual
Reconstruya la hoja con el precio actual por hora de GPU, no con la última referencia. Use el SKU exacto y el plazo del contrato. Mida los tokens por segundo sostenidos por GPU bajo tráfico de producción, no una referencia limpia. Convierta esa tasa a una tasa horaria de tokens. Reste el tiempo inactivo, el mantenimiento y el conmutado por fallo para obtener la utilización. Añada el sobrecoste de capacidad para picos y fiabilidad.
Compruebe el precio alquilado frente al mismo punto de operación. Compare precios alquilados que incluyen lotes y escalado automático contra su coste autoalojado tras esos sobrecostes. Convierta los precios alquilados por token a un equivalente por hora de GPU usando su tráfico esperado.
Con esos datos de entrada, puede determinar si la inferencia autoalojada supera a la alquilada. Autoaloje cuando el precio actual por hora de GPU dividido entre su rendimiento sostenido y utilización sea menor que el precio alquilado tras los sobrecostes. Alquile cuando no lo sea.