Ejecuta cuatro benchmarks de inferencia antes de considerar el Cerebras CS-4 como alternativa a GPU
Trata la afirmación de velocidad del lanzamiento del CS-4 como una hipótesis hasta que el TTFT, el throughput sostenido, el costo por millón de tokens y la compatibilidad de modelos sobrevivan a tu carga de trabajo.
El compromiso es entre velocidad bruta y economía verificada. El benchmark de lanzamiento de Cerebras para GPT-OSS-120B reportó más de 4.400 tokens por segundo por usuario, un resultado caracterizado como hasta 30 veces más rápido que las soluciones GPU. Convierte esa afirmación en una decisión de compra dividiendo la tasa por usuario entre tu concurrencia objetivo y, a continuación, comparando el costo resultante por millón de tokens con tu flota actual de GPU. Esa división es la prueba.
El número de lanzamiento es una condición, no un SLA de producción
Cerebras anunció el acelerador CS-4 a escala de rack el 18 de agosto de 2026 y dijo que los primeros envíos comenzarían ese trimestre. El sistema se construye en torno a tres procesadores Wafer Scale Engine 3 Turbo. Las especificaciones de lanzamiento listan 750 PFLOPs de cómputo de IA, 129,6 petabytes por segundo de ancho de banda de memoria y 7,2 terabits por segundo de E/S. La nota al pie del lanzamiento advierte que el throughput no es fijo; varía según la arquitectura del modelo, la longitud de contexto, la precisión numérica y la configuración de serving.
Ejecuta la prueba de estrés de serving de cuatro cifras
Evalúa cualquier acelerador, incluido el CS-4, contra estas cuatro cifras de producción antes de compararlo con tu stack actual. Mantén las cuatro cifras en una sola tabla para que la línea de costo sea visible.
- p50/p95 time-to-first-token (TTFT). Mide la latencia del primer token con tu longitud de contexto real, no con un prompt corto.
- Tokens por segundo sostenidos por usuario y throughput agregado. Ejecuta el mismo conjunto de prompts hasta que la tasa deje de mejorar, registra el valor estable y multiplícalo por los usuarios concurrentes.
- Costo por millón de tokens a la concurrencia objetivo. Calcula el costo de la misma carga de trabajo en el nuevo hardware y en tu flota actual, incluyendo capacidad ociosa y consumo eléctrico.
- Compatibilidad de modelos. Confirma la cuantización, la longitud de contexto, la licencia y la configuración de serving antes de confiar en cualquier ratio de velocidad.
El TTFT muestra el retardo visible para el usuario. La tasa sostenida expone los límites del hardware. El costo revela la capacidad ociosa y el consumo eléctrico. La compatibilidad condiciona la validez de cualquier ratio de velocidad.
Usa el mismo conjunto de prompts, la misma longitud de salida y la misma concurrencia en ambos stacks. Registra la tasa estable, no la primera muestra, y anota la concurrencia a la que se estabiliza. Si el proveedor ofrece una demo, pide el log en bruto, la distribución de prompts y la configuración de serving.
La longitud de contexto es donde el benchmark se degrada. Los prompts cortos pueden verse limpios, mientras que los prompts largos cambian la presión del KV cache y el comportamiento del scheduler. Prueba el contexto más largo que vas a servir, no el más corto que se ve bien.
La cuantización cambia la aritmética. Los modelos de menor precisión pueden ejecutarse más rápido, pero tu producto puede necesitar mayor precisión para la calidad. Si el número del proveedor usa una precisión diferente, la comparación es inválida.
La licencia es un modo de fallo común. Tu modelo puede ejecutarse en el hardware pero no bajo tu licencia de producción, o solo bajo términos que bloquean tu caso de uso. Pon los términos de la licencia en la misma hoja de cálculo que el costo por millón de tokens.
El consumo eléctrico y la topología cambian la línea de costo
Cerebras dijo que el CS-4 entregaría hasta 10 veces más throughput por vatio que el sistema CS-3 anterior. Eso cambia la línea de consumo, pero no la factura. Las cargas de trabajo intermitentes pueden mostrar un buen número por vatio mientras el costo por millón de tokens se mantiene alto porque la utilización se mantiene baja.
El CEO de Cerebras, Andrew Feldman, dijo que una configuración de inferencia desacoplada podría ofrecer inferencia 10 veces más rápida que las GPU y 5 veces más throughput que Cerebras por sí solo. La topología cambia la ruta de la solicitud, por lo que la prueba debe especificar la configuración de serving exacta. Comparar un solo rack con un clúster de GPU es engañoso a menos que la ruta de la solicitud sea la misma.
Una latencia entre wafers de tan solo dos microsegundos está pensada para soportar clústeres para modelos con más de 50 billones de parámetros. Los modelos más pequeños pueden no mostrar esa ventaja en tu prueba. Los modelos más grandes pueden cambiar la configuración de serving lo suficiente como para invalidar un benchmark corto.
Feldman dijo que el modo GPT-5.6 Sol Ultrafast de OpenAI alcanza hasta 14 veces la velocidad de la oferta estándar de OpenAI para clientes selectos. Los modos de velocidad pueden ser específicos de cliente, específicos de modelo y específicos de carga de trabajo. Especifica el modelo exacto, el modo y el nivel de cliente en la prueba.