Qwen3.8-Max: autoalojado vs API, punto de equilibrio

Estás eligiendo entre alquilar la API de Qwen3.8-Max y montar un clúster de GPU. Qwen3.8-Max tiene 2,4 billones de parámetros totales y activa 95 mil millones de parámetros por consulta. El autoalojamiento intercambia el gasto fijo del clúster por control por token: multiplica los tokens por segundo por los segundos del mes, divide el gasto mensual en GPU entre esos tokens y compara ese coste por token con el precio alojado tras los aciertos de caché. El autoalojamiento solo merece la pena cuando ese coste por token es inferior al coste API combinado por token.

Mantén la hoja de cálculo en una sola pestaña:

• Pesos totales: registra los parámetros totales y los parámetros activos por consulta.
• Almacenamiento y VRAM: divide el tamaño de los pesos comprimidos entre la memoria utilizable por nodo, luego suma el margen para caché KV, lotes y réplicas.
• Número de nodos: asigna los picos de tráfico a nodos, incluyendo uno de reserva para mantenimiento y fallos.
• Coste GPU por token: divide el gasto mensual en GPU entre los tokens mensuales.
• Punto de equilibrio: compara C/T con el precio API combinado, incluyendo entrada, salida y aciertos de caché.

Empieza por la especificación del modelo, no por el clúster

Los pesos abiertos de Qwen3.8-2.4T-A95B se publicaron alrededor del 13 de agosto. El número de parámetros activos determina el cómputo; el total determina la presión de almacenamiento y memoria. La cuantización cambia la calidad y la velocidad, así que realiza pruebas de referencia de la versión comprimida contra tus pruebas de aceptación antes de confiar en el cálculo de memoria. Coloca la ficha del modelo, los límites de contexto y los resultados de pruebas en la misma pestaña.

Dimensiona la memoria antes que los nodos

Unsloth AI comprimió el modelo original de 4,9 TB de Qwen3.8-2.4T-A95B a 397 GB mediante cuantización selectiva por capas dinámica de 1 bit, una reducción de almacenamiento del 91 %. Con Unsloth-Desktop, el modelo comprimido puede ejecutarse localmente cuando un equipo tiene más de 410 GB de RAM y VRAM combinadas. Usa ese mínimo como el umbral inferior para los pesos comprimidos, luego añade margen para caché KV, tamaño de lote, longitud de contexto y réplicas, porque un clúster que cabe los pesos aún puede no cumplir los objetivos de latencia.

Realiza pruebas de carga con tu distribución real de prompts y registra los tokens por segundo, la latencia de cola y la tasa de error. Mantén un nodo de reserva para mantenimiento y fallos. Asigna los picos de tráfico al número de nodos en la tabla de capacidad, no te limites a demostrar que los pesos caben.

Calcula el precio de la vía alojada con caché

La API de Qwen3.8-Max tiene un precio de 12 yuan por millón de tokens de entrada y 36 yuan por millón de tokens de salida en China continental, con 1,5 yuan por millón de aciertos de caché implícita; en el extranjero, es 2 USD por millón de tokens de entrada y 6 USD por millón de tokens de salida, con 0,25 USD por millón de aciertos de caché implícita. Los prefijos repetidos convierten tokens de entrada en aciertos de caché a una tasa mucho menor. El coste API combinado es igual a la entrada no en caché por el precio de entrada más la entrada en caché por el precio de caché más la salida por el precio de salida.

Sea C el gasto mensual en GPU y T los tokens mensuales. Incluye en C todos los costes recurrentes: cómputo, almacenamiento, red, supervisión, guardia y actualizaciones. Excluye la configuración inicial del punto de equilibrio, pero manténla en el caso de negocio. Añade la mano de obra del equipo dedicado al coste mensual si el clúster lo requiere. Modela las penalizaciones por solicitudes limitadas para APIs con límite de tasa.

Elige el autoalojamiento cuando C dividido entre T sea inferior al coste API combinado por token. Los tokens de punto de equilibrio son C dividido entre el precio API combinado, ajustado por la mezcla de entrada, salida y caché. Usa esa cifra como el volumen mínimo sostenido. Muestra una curva de coste mensual para varios escenarios de tráfico en la hoja y vuelve a ejecutar el cálculo cuando cambie la mezcla de tráfico, el comportamiento de la caché o el precio de la GPU.

Resta las funciones que la API oculta

El Qwen3.8-2.4T-A95B abierto tiene un contexto nativo de 262.144 tokens y puede extenderse a 1,01 millones de tokens. La publicación oficial de Qwen3.8-Max, fechada el 3 de agosto, añade entrada visual, manejo de contexto nativo de 1 millón de tokens y herramientas integradas oficiales. Cuando tu producto necesita esas capacidades, la vía de autoalojamiento incluye trabajo de ingeniería que la API oculta.

Lista las capacidades en las que depende tu producto y marca cada una como alojada, autoalojada o ausente. Asigna un responsable y un plazo a cada elemento ausente. Una función ausente puede borrar los ahorros si bloquea el lanzamiento. Revisa la diferencia mensualmente, porque los servicios alojados cambian. Muestra responsables, estimaciones de esfuerzo y una fecha de lanzamiento para cada capacidad ausente en la hoja de funciones.