Construye un modelo de costes multimodal para imagen, audio y vídeo

Una solicitud multimodal es una pila de flujos de medios, no un precio de token único y homogéneo. El compromiso es entre capacidad y economía unitaria. IBM describe un LLM multimodal como un modelo de lenguaje de gran escala que procesa y razona sobre texto, imágenes y audio. La API Qwen3-Omni de Alibaba precia la entrada de imagen y vídeo a $0,46 por 1M de tokens, la entrada de audio a $2,21 por 1M de tokens, y la parte de audio de la salida de texto más audio a $8,76 por 1M de tokens, mientras que la parte de texto es gratuita. Un LLM multimodal está listo para producción solo cuando cada flujo se precia, se presupuesta en latencia y se limita de forma independiente.

Qwen3-Omni acepta entradas de texto, imagen, audio y vídeo, pero solo genera salidas de texto y audio. Si el producto promete vídeo, enrútalo a un generador separado; Kling AI Video 2.6 ofrece actualmente salidas de vídeo de 5 segundos y 10 segundos en inglés y chino. El registro debe mostrar ese flujo externo como su propia fila.

Construye el registro antes de fijar un presupuesto

El registro es la unidad de control de una solicitud multimodal. Cada fila es un flujo de una modalidad en una solicitud, y los campos son los que necesitas para compararlo con una solicitud solo de texto. Una línea base solo de texto es la misma solicitud preciada únicamente con tokens de texto; el registro hace visible la diferencia.

• Modalidad de entrada: el tipo de medio que entra en la solicitud.
• Modalidad de salida: el tipo de medio que sale del modelo, más cualquier generador externo.
• Tokens por solicitud para esa modalidad.
• Precio por 1M de tokens para esa modalidad.
• Latencia del primer paquete para esa modalidad de salida.
• Factor en tiempo real bajo carga.
• Límite de concurrencia para ese flujo.

Terminado significa una tabla donde una solicitud puede preciarse, presupuestarse en latencia y limitarse sin abrir el panel del proveedor ni una pestaña de hoja de cálculo. La tabla debe ser lo suficientemente pequeña para leerse en una revisión y lo suficientemente específica para impulsar el control de admisión. Mantén los campos en la capa de servicio, no en una hoja de cálculo, para que los límites puedan rechazar una solicitud antes de que consuma tiempo de GPU. Eso evita que el registro se convierta en un documento post-mortem tras el lanzamiento.

Divide la solicitud en flujos de modalidades. Registra la modalidad de entrada, la modalidad de salida y los tokens por solicitud para cada flujo. Un registro de solicitudes debe mostrar una pregunta con imagen, una transcripción de audio y un clip de vídeo como filas separadas, no como un único payload homogéneo.

Precia cada flujo con las tarifas del proveedor. Copia las tarifas por 1M de tokens del proveedor en el registro como una columna de precio junto a cada modalidad, para que el precio de los tokens de imagen no se infiera a partir del texto. La columna debe ser por flujo, no por solicitud, porque una sola solicitud puede mezclar tokens de imagen baratos con salida de audio cara. Promediar imagen, audio y vídeo en un único precio de token homogéneo oculta la penalización de la salida de audio y la latencia del primer paquete del vídeo.

Presupuesta la latencia por primer paquete y factor en tiempo real. Fija un objetivo de primer paquete para cada modalidad de salida. Qwen3-Omni tiene una latencia teórica del primer paquete de 234 milisegundos para audio y 547 milisegundos para vídeo, y se mantiene por debajo de un factor en tiempo real con múltiples solicitudes concurrentes. El presupuesto debe separar audio de vídeo, no un único número de extremo a extremo.

Limita la concurrencia a partir del factor en tiempo real. Úsalo como el tope para ese flujo. La cola no debe convertir un primer paquete rápido en un flujo lento.

Enruta las salidas que el modelo no puede producir. Verifica el soporte de salida antes de prometer medios. Una ruta de respaldo no debe facturar al LLM por vídeo que no puede emitir.

Mantén el registro honesto bajo carga

En el servicio de modelos, el registro se convierte en el plano de control. Muestra qué modalidad impulsa el coste, qué flujo impulsa la latencia de cola y dónde la concurrencia erosiona el presupuesto del primer paquete. Mantén las filas separadas para que las solicitudes mixtas expongan cada contribución en la economía unitaria.

Revisa el registro con la misma cadencia que usas para la planificación de capacidad. Una mezcla de modalidades puede cambiar el coste de una solicitud sin cambiar el modelo, la latencia de un primer paquete o el límite de concurrencia.