TPUv7 vs Blackwell: decide la capacidad de inferencia de LLM con números

Una prueba de cinco pasos decide la compra

Estás eligiendo capacidad de inferencia de LLM y TPUv7 Ironwood parece más barato sobre el papel. El equilibrio está entre costo y latencia, concurrencia, adquisición y suposiciones sobre modelos. A 100 tokens/s/usuario, TPUv7 Ironwood se modela en aproximadamente $0.181 por millón de tokens totales, B200 en $0.222 y B300 en $0.276. Con concurrencia 256, su tiempo medio hasta el primer token es de 5.41 segundos, frente a 3.75 segundos para B200 y 2.40 segundos para B300. La decisión es una lista de verificación: tokens/s/usuario objetivo, costo por millón de tokens, TTFT con concurrencia, riesgo de externalización/adquisición y suposiciones sobre modelos de código abierto. Úsala antes de comprometer capacidad.

• Tokens/s/usuario objetivo. Define la tasa sostenida, la tasa de pico y la regla de degradación que tu producto debe mantener. Parte de la experiencia de usuario y luego retrocede al presupuesto de inferencia. Una interfaz de chat, un asistente de código y un resumidor por lotes necesitan tolerancias distintas para una salida lenta. El objetivo resiste cuando puedes nombrar la longitud de solicitud en percentiles altos, el pico esperado y la ventana de tiempo en la que el producto no debe sentirse roto. Si el objetivo solo funciona en una demo, no es un objetivo de inferencia.
• Costo por millón de tokens. SemiAnalysis publicó los primeros benchmarks de inferencia de terceros para TPUv7 Ironwood a través de InferenceX Official Preview. El conjunto de benchmarks reporta TPUv7 Ironwood con hasta un 50% mejor rendimiento por dólar que B200 y B300 en pruebas comparables. No compares un precio modelado de token con un precio de lista. Lo que importa es el costo de tu carga de trabajo a tu tasa objetivo. Convierte el precio modelado a tu mezcla de modelos, longitud de contexto, tamaño de lote, capacidad ociosa, encolamiento y la versión del modelo que realmente vas a servir antes de tratarlo como precio de compra. Si el tráfico es intermitente, el precio medio por token puede ocultar un pico que obliga a capacidad extra.
• TTFT con concurrencia. Datos de MLPerf, citados por EDN, muestran aproximadamente 138 tokens por segundo por acelerador para Llama 3.1 405B en el GB200 NVL72 de Nvidia. El precio por token solo importa si el primer token llega antes de que el usuario abandone la solicitud.
• Riesgo de externalización/adquisición. La externalización de la inferencia puede trasladar la decisión de una comparación de chips a una comparación de proveedor, contrato y flujo de datos. Pregunta quién posee la pila de inferencia, a dónde van los prompts y las respuestas, y qué pasa cuando la capacidad está reservada, sobrecomprometida o renegociada. Coloca cada riesgo en una tabla y asigna una penalización en dólares al modo de fallo. Una penalización en dólares hace que el riesgo sea comparable al precio por token. Mantén una ruta de salida que te permita mover cargas de trabajo, cambiar modelos o dividir tráfico sin una reescritura.
• Suposiciones sobre modelos de código abierto. El token más barato puede provenir de un cambio de modelo, no de un cambio de hardware. Cuatro proveedores de inferencia reportaron reducciones de 4x a 10x en el costo por token usando Blackwell con modelos de código abierto. Sully.ai redujo los costos de inferencia de IA en salud en un 90% y mejoró los tiempos de respuesta en un 65% tras migrar a modelos de código abierto en la plataforma Blackwell de Baseten. No asumas ese descuento si tu estándar de calidad depende de un modelo propietario, un modelo afinado o un comportamiento de invocación de herramientas que no ha sido validado con pesos abiertos.

La latencia puede matar al token más barato

Convierte la lista de verificación en un plan de capacidad. Usa la carga de usuario objetivo, no la carga de la demo, para el número de aceleradores, y luego comprueba si el presupuesto del primer token sigue siendo viable cuando la cola está profunda. Un sistema puede parecer barato en promedio y aun así fallar en el momento en que el tráfico se dispara. Entrega un presupuesto de latencia y un número de aceleradores que ambos se mantengan en carga de pico. Si TPUv7 no cumple la latencia o la concurrencia, el token más barato no es una victoria en producción.

La adquisición y las suposiciones sobre modelos deciden la salida

Si TPUv7 cumple los objetivos de latencia y concurrencia, la pregunta restante es si la pila de inferencia puede sobrevivir a un cambio de modelo, un cambio de proveedor o un desplazamiento de tráfico. Un token barato es menos atractivo cuando la ruta de salida depende de un único contrato, una única región o un único formato de modelo. Ejecuta la comparación de hardware solo después de haber validado el cambio de modelo en tu propia carga de trabajo.