Modelos abiertos alojados vs. tus GPUs: la prueba del coste por token

Estás decidiendo entre inferencia de modelos abiertos alojados y GPUs autoalojadas. La compensación es el coste total por millón de tokens: precio de lista alojado más egress, reintentos y costes de SLO, frente a horas-GPU por precio de GPU más sobrecoste operativo, dividido entre los tokens realmente servidos.

Si la utilización es baja, el denominador se reduce y la cifra por token sube. El egress, los límites de tasa y el precio de índice de GPU para el modelo equivalente deciden qué cifra gana.

La diferencia es la cuota de entrada

Un precio alojado parece barato cuando tu flota está inactiva. Tus GPUs siguen consumiendo energía, necesitan parches y requieren cobertura en turno cuando el tráfico es plano. El precio del proveedor incluye esa capacidad inactiva, pero solo si pagas por ella. La diferencia entre el precio de lista y tu coste total autoalojado es la verdadera cuota de entrada.

Empieza por el modelo que realmente sirves. Un modelo abierto más pequeño con contexto corto puede ejecutarse en menos GPUs, pero una carga de trabajo de contexto largo o alto rendimiento cambia la mezcla de hardware. Alinea la ficha del modelo alojado con tu propia pila de servicio: mismos pesos, misma cuantización, mismo contexto máximo y las mismas suposiciones de batching. Si el modelo alojado es más rápido porque usa un pipeline diferente, anótalo como una ventaja de rendimiento, no como una equivalencia de precio.

Luego modela la parte inactiva. Una GPU que sirve tokens solo durante las horas punta sigue necesitando una asignación reservada o bajo demanda, monitorización y un camino de escalado. Un endpoint alojado puede absorber esa variabilidad, pero el precio puede incluir un recargo por ráfagas. Compara tu coste inactivo con el precio del proveedor antes de comprometerte.

La lista de verificación es la decisión

Pasa esta lista de verificación antes de firmar un contrato o comprar otra GPU. Cada elemento debería llevar un minuto; la última línea zanja el debate.

• Precio de lista por millón de tokens para prompt y completion, incluyendo niveles batch o de prioridad.
• Precio de índice de GPU equivalente para el tamaño de modelo y longitud de contexto, a las tarifas actuales bajo demanda o reservadas.
• Utilización: tokens esperados por hora-GPU y la parte inactiva por la que seguirías pagando.
• Fiabilidad/SLO: tasa de error, latencia p95, disponibilidad y condiciones de crédito.
• Egress y transferencia de datos: coste de salida por GB, nivel gratuito y opciones de private-link.
• Límites de tasa: tokens por minuto, solicitudes por minuto y comportamiento en ráfaga.
• Coste total por millón de tokens: suma reintentos, monitorización y turno, y luego compara con el precio alojado.

Si tu cifra total autoalojada es menor, compra GPUs. Si la cifra alojada es menor, compra tokens. Si están cerca, elige la opción con mejores SLOs o cambios de modelo más rápidos.

El precio de lista es el elemento más fácil y el menos útil por sí solo. Un proveedor puede cotizar una cifra baja por token y aun así perder frente a tu flota si tu utilización es alta y tu hardware ya está comprometido. El precio de índice de GPU es el contrapeso. Debe reflejar la misma clase de modelo, no un acelerador genérico. Un precio reservado puede parecer mejor que el bajo demanda, pero asume que puedes mantener la flota ocupada.

La utilización decide si el autoalojamiento funciona. Un tráfico constante permite a tu equipo mantener la flota cerca de la capacidad y el coste por token baja. Si el tráfico es errático, estacional o dominado por prompts largos que ocupan las GPUs más tiempo, el mismo hardware produce menos tokens facturables. La inferencia alojada puede ser más barata cuando de otro modo pagarías por capacidad que no puedes usar.

La fiabilidad también cambia la aritmética. Un SLO alojado con créditos puede reducir el coste de un mes malo. Una pila autoalojada necesita respaldo, reintentos, tráfico de sombra y cobertura en turno. Si tu producto no puede tolerar un p95 lento, la sobrecarga de fiabilidad puede ser mayor que el ahorro en GPUs. Las cargas de trabajo tolerantes pueden aceptar un endpoint más barato y menos pulido.

El egress y los límites de tasa son las partidas olvidadas. El egress puede importar cuando las respuestas son grandes, cuando envías logs o cuando mueves datos entre regiones. Los límites de tasa importan cuando un solo cliente puede consumir una gran parte de los tokens. Un endpoint alojado con un tope duro de tokens por minuto puede obligarte a comprar un nivel superior o añadir un segundo proveedor. Planifica margen antes de depender de las ráfagas.

El tamaño del mercado es contexto, no un modelo de costes

Fireworks es el caso de prueba útil porque sus ingresos y volumen de tokens hacen visible la aritmética. Anunció una Serie D de $1.505 mil millones a una valoración de $17.5 mil millones el 16 de julio de 2026. La ronda fue liderada por Atreides Management, Index Ventures y TCV, con participación de Evantic, Lightspeed Venture Partners y NVIDIA. Fireworks ha superado la marca de $1 mil millones en tasa de ingresos anualizada, un salto de cinco veces desde su ronda de financiación anterior, mientras que el volumen diario de tokens pasó de 15 billones a más de 40 billones durante el mismo período. El 95% de los tokens que sirve provienen de modelos especializados.

Together AI levantó una Serie C de $800 millones el 1 de julio de 2026 a una valoración de $8.3 mil millones, con reservas anuales informadas de alrededor de $1.15 mil millones. Fireworks planea usar la nueva financiación para profundizar las alianzas con partners de nube como Microsoft y NVIDIA.

El mercado es lo suficientemente grande como para que el servicio de modelos abiertos alojados sea una alternativa seria. Pon la cifra total más baja en el presupuesto.