Precio de un MoE de 770B: coste por token de Hy4 preview

Estás eligiendo GPUs y precios por token para Hy4 preview, un modelo mixture-of-experts con 770B de parámetros totales y 49B activos. El equilibrio está entre memoria y aritmética: la memoria de pesos sigue al conjunto de parámetros almacenados, y la computación de decodificación sigue a la ruta activa. La primera palanca de precio es la proporción activa: 49B/770B. Usa esa proporción antes de comparar Hy4 preview con un modelo denso, porque el tamaño nominal no es el tamaño de cómputo. Registra esa proporción en la hoja de cálculo primero.

Los parámetros activos definen la línea base de cómputo

La computación de inferencia escala con los 49B de parámetros activos, no con el conjunto total de 770B. Hy4 preview es un MoE de 78 capas con 256 expertos enrutados y un experto compartido, y activa 8 expertos enrutados más el experto compartido por cada token. Su mecanismo de atención es Gated DeepSeek Sparse Attention con IndexCache, y su capa nativa de predicción multi-token añade un decodificador especulativo de 10B parámetros con 0.7B de parámetros activos. Si activas esa capa, suma su ruta activa a la estimación de cómputo por token. El total activo es el número que multiplicas por tu modelo de cómputo, no el recuento total de parámetros.

El recuento total es el número de almacenamiento y carga; el recuento activo es el número de latencia por token. Mantén esos dos números separados en la hoja de cálculo: uno para presupuestar memoria, otro para el rendimiento de decodificación. Esa separación evita que la intuición de un modelo denso inflé el precio.

FP8 y paralelismo de tensores con ocho GPUs definen la línea base de memoria

El lanzamiento incluye checkpoints BF16 y FP8, y las recetas oficiales de vLLM y SGLang ejecutan la variante FP8 con paralelismo de tensores de ocho GPUs. Haz de FP8 el valor predeterminado porque las recetas oficiales lo ejecutan, y toma el tamaño de paralelismo de la receta como punto de partida. El paralelismo de tensores cambia el coste de comunicación, no solo la colocación de pesos, por lo que un número diferente de GPUs modifica tanto el margen de memoria como la latencia de decodificación. Si cambias el número de GPUs, vuelve a ejecutar el benchmark antes de cambiar el precio.

Trata la ventana de contexto superior a 1M tokens como una restricción de capacidad cuando tu carga de trabajo usa contexto largo. Reserva memoria para la caché y el estado de la atención dispersa, no solo para los pesos. El contexto largo puede dominar el presupuesto de memoria incluso cuando la ruta activa de cómputo es pequeña. Una configuración de benchmark reproducible debe permitirte volver a ejecutar tras cambiar la longitud de contexto, el tamaño de lote o la política de caché, y la configuración debe registrar el checkpoint, el tamaño de paralelismo y la pila de servicio.

Toma el rango de rendimiento del lanzamiento antes de hacer tu benchmark

En el lanzamiento, OpenRouter listó a Tencent Cloud como único proveedor de Hy4 preview con aproximadamente 26 a 38 tokens por segundo y un P50 inferior a 4 segundos. Usa ese rango como verificación de sentido para tu propio rendimiento de decodificación, e informa tokens por segundo por GPU en lugar de solo tokens por segundo por solicitud. Para la receta oficial de ocho GPUs, divide los tokens por segundo a nivel de solicitud entre ocho para obtener un número por GPU.

La API de Hy4 preview cuesta 0.834 USD por millón de tokens de entrada, 2.501 USD por millón de tokens de salida y 0.042 USD por millón de tokens con acierto en caché. Para una estimación autoalojada, divide el coste de tu hora-GPU entre los tokens que puedes servir por hora, y luego compara el resultado con esas tarifas de API. Usa la misma longitud de contexto y tamaño de lote en el benchmark y en el modelo de coste. Si tu tráfico tiene prompts repetidos, cuenta los tokens con acierto en caché por separado y calcula un coste combinado como la media ponderada de las tres tarifas según tu mezcla de tokens.

Vuelve a ejecutar la hoja de cálculo con tu mezcla de contexto y caché

• Calcula el total de parámetros activos: recuento activo base más recuento activo especulativo cuando la predicción multi-token está habilitada.
• Elige el checkpoint FP8 y el tamaño de paralelismo de tensores de ocho GPUs de la receta.
• Reserva memoria para contexto largo y estado de atención dispersa.
• Mide el rendimiento de decodificación en tokens por segundo por GPU en tu contexto objetivo.
• Compara tu coste por token con las tarifas de la API.

Ejecuta la hoja de cálculo con longitudes de contexto cortas y largas y con tasas de acierto en caché bajas y altas. La diferencia entre esas ejecuciones te dice si tu precio está impulsado por cómputo, memoria o prompts repetidos. Registra la longitud de contexto medida, el tamaño de lote, la tasa de acierto en caché y el número de GPUs junto al precio para que el número pueda reproducirse.