Ejecute la lista de verificación de $/token antes de reservar capacidad RTX PRO 6000

La utilización comprometida determina el $/token

Está decidiendo si reservar capacidad RTX PRO 6000 para cargas de trabajo de inferencia o agénticas. El equilibrio está entre la utilización comprometida y el take-or-pay. Calcule el precio de la hora de GPU reservada como precio por segundo, divida entre los tokens por segundo a la utilización comprometida y compare el resultado con el nivel vigente antes de firmar.

QumulusAI entregó 616 GPUs NVIDIA RTX PRO 6000 Blackwell a Runpod bajo acuerdos de capacidad reservada de uno y dos años, con las unidades servidas desde su infraestructura existente de centros de datos en EE. UU.. Los 77 nodos estuvieron operativos en agosto de 2026, antes de la fecha objetivo del 1 de septiembre de 2026. Runpod planea ofrecer a sus clientes esa capacidad para inferencia de IA en producción y cargas de trabajo agénticas.

QumulusAI completó la construcción B300 Blackwell en su sitio de colocalización en Filadelfia, entregó la capacidad a los clientes el 1 de septiembre de 2026 y activó un acuerdo take-or-pay de $18 millones y dos años, anunciado el 22 de julio de 2026. La capacidad comprometida puede implicar una obligación de pago fijo incluso cuando la utilización es baja.

Ejecute el cálculo de $/token

Los tokens por segundo a la utilización comprometida establecen el denominador de la reserva. Un precio por segundo más bajo o una tasa de tokens más alta mejoran el resultado. Cuando la utilización cae, el costo por token sube y el riesgo contractual pesa. El batch, la cuantización, la caché de prefijo y la ubicación del modelo mueven esa cifra. El precio de la hora de GPU reservada se convierte en un costo cuando la pila de servicio no puede mantener el tamaño de batch objetivo.

Las cargas de trabajo agénticas son menos tolerantes. Implican contextos más largos, más llamadas a herramientas y una mayor dispersión entre la latencia mediana y la p95. Una ganancia de $/token que desaparece en p95 fracasa en producción.

Ejecute la lista de verificación en una reunión. Los dos primeros puntos fuerzan la comparación de precios; los tres siguientes impiden que la carga de trabajo se rompa por memoria, latencia o potencia; los dos últimos evitan que el tiempo inactivo se convierta en un costo fijo.

• Convierta el precio de la hora de GPU reservada a $/segundo y divida entre los tokens por segundo a la utilización comprometida. El resultado es su $/token.
• Compare ese $/token con el nivel B300 vigente a mismo modelo, longitud de contexto y tamaño de batch.
• Confirme el margen de memoria para el modelo objetivo y la longitud de contexto.
• Verifique la latencia p95 en bucles agénticos, no solo el rendimiento mediano.
• Verifique la compatibilidad de potencia, refrigeración y red para la clase de nodo.
• Cuantifique la exposición take-or-pay en dólares por mes y pruébe-la contra su utilización comprometida.
• Confirme que la capacidad está lista para producción en su región y bajo los términos correctos de capacidad reservada.

Los términos de servicio y contrato deciden la reserva

Ejecute el costo por token a diferentes niveles de utilización comprometida. Las ganancias que solo aparecen a utilización total son frágiles; las que sobreviven a un nivel alto de utilización son reales. Registre el nivel de utilización donde el nuevo nivel cruza el precio vigente.

El margen de memoria determina si el modelo objetivo cabe con el contexto que realmente sirve. Un ajuste de contexto corto puede fallar en contexto largo. El mismo nodo puede parecer barato en un benchmark y caro en producción.

La latencia condiciona la carga de trabajo. Los niveles de GPU de inferencia no son intercambiables cuando la aplicación espera cada respuesta. Verifique la ruta p95, no solo la mediana, antes de aprobar la reserva.

La potencia es una restricción de primer orden. QumulusAI modificó el contrato de arrendamiento del centro de datos en Oklahoma para que una opción de renovación de cinco años se convirtiera en tres opciones consecutivas de renovación de cinco años, asegurando 19 MW de potencia contratada. Cuando su carga de trabajo está limitada por potencia, ese tipo de control a largo plazo cambia el cálculo de la reserva. La disponibilidad de potencia puede limitar el número de nodos que realmente puede reservar.

La duración del plazo es un pronóstico de utilización. Las reservas más cortas son más fáciles de defender cuando el tráfico es incierto; las más largas necesitan una curva de utilización comprometida que sobreviva a un fallo de producto. El contrato debe hacer explícita esa suposición por escrito. La cláusula take-or-pay es el precio de comprometerse con esa curva.

Lea la reserva como un problema de dos cifras. Una cifra es el $/token a la utilización comprometida. La otra es el pago mensual que realiza cuando la utilización cae. La segunda cifra necesita una mayor diferencia para justificar el riesgo cuando es grande. Mantenga ambas cifras en la revisión final del contrato.