Encuentra la capa de costos: un mapa de infraestructura de IA en seis pasos
Elige la capa de infraestructura de IA que determina el costo y la latencia, y compara proveedores según la métrica que esa capa realmente controla.
Tu función de IA tiene varios centros de costo: tokens, horas de GPU, ancho de banda de memoria, pasos de agentes, ejecuciones de eval y comprobaciones de seguridad. Supongamos que una solicitud cuesta $0.001 a 200 ms y el 40 % de ese tiempo es tiempo de cola: el modelo no es el problema. La capa que controla la cola es la capa que debes presupuestar primero.
El cuello de botella es una partida presupuestaria
Los equipos suelen presupuestar el modelo y se sorprenden con la factura de serving. Un modelo barato por token puede seguir costando más con contexto largo, alta concurrencia o reintentos. Una hora de GPU barata puede seguir desperdiciando dinero si queda inactiva entre solicitudes. Divide la carga de trabajo en capas y asigna a cada capa una unidad de costo y una unidad de latencia.
La prueba de seis capas identifica la capa costosa
- Cómputo. Silicio y memoria en bruto. Pregunta de costo: ¿cuánto pagas por hora de GPU o por servidor optimizado para memoria? Pregunta de latencia: ¿el ancho de banda, no los FLOPs, es la restricción? Categoría de proveedor: clústeres de GPU gestionados o silicio de inferencia centrado en memoria.
- Inferencia. Prompt de entrada, tokens de salida. Pregunta de costo: ¿cuál es el precio por token de cada modelo abierto? Pregunta de latencia: ¿cuál es la latencia de cola bajo tu concurrencia? Categoría de proveedor: APIs de inferencia con precio por token o plataformas de fine-tuning.
- Datos. Recuperación y contexto. Pregunta de costo: ¿cuánto pagas por la recuperación, el almacenamiento y la ensambladura del contexto? Pregunta de latencia: ¿cuánto tiempo añade la recuperación antes de que el modelo comience? Categoría de proveedor: búsqueda vectorial, pipelines de contexto o enrutamiento híbrido local-nube.
- Runtime de agentes. El bucle que invoca herramientas, modelos y memoria. Pregunta de costo: ¿cuánto pagas por llamada a herramienta, paso o sesión? Pregunta de latencia: ¿cuánto tiempo añade la orquestación entre modelos? Categoría de proveedor: software de orquestación de agentes o coordinadores de cargas de trabajo heterogéneas.
- Eval. Medición de mejora o regresión. Pregunta de costo: ¿cuánto pagas por traza puntuada o ejecución de regresión? Pregunta de latencia: ¿cuánto tarda en detectarse un cambio defectuoso? Categoría de proveedor: arneses de eval, suites de regresión o telemetría de calidad.
- Seguridad. Controles sobre lo que sale del dispositivo, lo que se registra y lo que se reintenta. Pregunta de costo: ¿cuánto pagas por comprobaciones de postura, controles de agentes y gobernanza? Pregunta de latencia: ¿la aplicación de políticas añade tiempo medible a la ruta de la solicitud? Categoría de proveedor: gestión de postura de seguridad de IA, seguridad de agentes o herramientas de gobernanza de IA.
Los proveedores venden unidades distintas: capacidad, tokens, orquestación, confianza, control. La misma función de chat puede comenzar como un problema de inferencia, convertirse en un problema de datos cuando el contexto crece y convertirse en un problema de agentes cuando invoca herramientas.
Ajusta el proveedor a la métrica
El cómputo es donde el rendimiento por dólar importa a tu latencia objetivo. Si el ancho de banda de memoria limita la generación de tokens, una GPU más barata puede seguir rindiendo por debajo. XCENA recaudó $135 millones con una valoración de $570 millones el 29 de mayo de 2026, y afirma que su chip MX1 procesa datos cerca de la DRAM y que un solo servidor podría manejar cargas de trabajo que antes requerían 10 servidores, describiendo la inferencia como un problema de escalado de memoria y no solo de cómputo. Pon a prueba esa afirmación con tu propia mezcla de solicitudes antes de comprar.
Precia la inferencia por solicitudes completadas, no por precio de lista por token. Fireworks AI recaudó $1.5 mil millones y alcanzó una valoración de $17.5 mil millones. Procesa más de 40 billones de tokens al día. Ofrece una plataforma en la nube para hacer fine-tuning de modelos de IA de código abierto y da a los desarrolladores acceso a clústeres de GPU gestionados con precios basados en el uso.
La API de River AI se precia por 1 millón de tokens, y la tarifa cambia según el modelo abierto seleccionado. Su ronda seed/Series A sumó $1.1 mil millones, con General Catalyst y AMP PBC al frente y la participación de Nvidia, AMD Ventures, Y Combinator y Temasek. River AI afirmó que una empresa puede ejecutar una tarea compleja de aprendizaje por refuerzo en 15 a 20 minutos sin un equipo de infraestructura, ahorrando de dos a cuatro veces en comparación con opciones de código cerrado.
Los datos se manifiestan en el costo de contexto y la latencia de recuperación. Perplexity AI, valorada en $20 mil millones, demostró en Computex 2026 que los modelos locales en dispositivos Intel Core Ultra Series 3 deciden qué información se queda en el dispositivo y qué va a modelos basados en la nube. Perplexity dijo que la función de inferencia híbrida aún no había llegado a los usuarios y se esperaba que llegara en cuestión de semanas. Si tu función maneja datos privados, esa decisión de enrutamiento es un costo de la capa de datos, no de la capa de modelo.
El runtime de agentes decide la factura a través del costo por tarea completada y la latencia añadida por paso. El software de Callosum, anunciado junto con Cerebras el 20 de agosto de 2026, descompone y coordina cargas de trabajo multiagente entre diferentes modelos y silicio para mejorar el rendimiento. Si tu función invoca herramientas, el runtime puede convertirse en la capa costosa incluso cuando cada llamada al modelo es barata.
El eval se mide por tiempo de detección. Una regresión que se publica y se detecta después cuesta más que un pipeline más lento que la atrapa. Si no puedes medir la calidad por versión, estás pagando inferencia sin saber si mejoró el producto.
La seguridad se mide por la sobrecarga de control. CRN nombró 10 startups de seguridad de IA a mediados de 2026, que abarcan la gestión de postura de seguridad de IA, la seguridad de agentes y la gobernanza de IA. Si las comprobaciones de políticas añaden latencia, precia esa latencia. Si previenen una fuga de datos, incluye el incidente evitado en el presupuesto.