Ajustar un MoE de visión de 124B en un stack de agentes con dos GPUs: checklist de serving de Ling-3.0-flash-VL

El compromiso es de memoria, no de cómputo

Un MoE de visión cabe en un stack de agentes con dos GPUs cuando los pesos residentes encajan en la clase de GPU y el cómputo activo se mantiene pequeño. Ling-3.0-flash-VL tiene 124B de parámetros totales y 5.5B de parámetros activados. La relación residente-activo es de aproximadamente 22.5x.

La aritmética va primero: se compra VRAM para el modelo completo, pero se paga cómputo por una pequeña porción activa. Es un modelo de visión de pesos abiertos de InclusionAI, el fabricante del modelo, bajo la licencia MIT. Para cargas de trabajo de capturas de pantalla o agentes GUI, las flags de serving determinan si el modelo es viable en producción.

Elige el par precisión/TP antes del bucle

SGLang, el motor de serving, proporciona la matriz de recetas. La matriz es lo primero que hay que fijar porque la clase del checkpoint determina el ancho de paralelismo de tensores. Un par incorrecto puede hacer que el servidor arranque y luego falle bajo carga. El bucle del agente no debería descubrirlo después del lanzamiento.

La receta BF16 está dimensionada para margen de KV-cache. Ese margen es lo que permite al servidor mantener una ventana de contexto activa abierta. Si los pesos consumen toda la memoria disponible, el bucle del agente se atascará con una captura de pantalla larga. La ruta cuantizada cambia el ancho, por lo que la clase de hardware y la precisión del checkpoint deben verificarse juntos.

El checklist es la puerta de lanzamiento

Ejecuta estos pasos antes del bucle del agente. Cada punto es una verificación rápida.

• Fija el par precisión/TP: FP8 en TP2 en H100/H200, FP4 o INT4 en TP1, o BF16 en TP4 en GPUs de clase 288GB o 141GB, o TP8 en H100.
• Confirma el parser: usa el parser de razonamiento y tool-call ling3, mediante detección automática o flags explícitas.
• Configura el contexto YaRN de 256K, un método de escalado de contexto largo: --context-length 262144, el override de rope_scaling y SGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN=1.
• Verifica el límite de contexto: la configuración nativa es de 131,072 tokens, con extensión YaRN hasta 1M de tokens.
• Usa como referencia el coste self-hosted frente a OpenRouter: $0.060 por millón de entrada, $0.180 por millón de salida, $0.012 lectura de caché.

El punto del parser existe porque los agentes de capturas de pantalla fallan en silencio cuando los tool calls se malinterpretan. El punto de contexto existe porque un historial largo de UI puede exceder la ventana nativa. El punto de coste existe porque el self-hosting solo gana cuando el gasto amortizado de GPU se mantiene por debajo de la referencia de la API.

Las verificaciones del parser son baratas. Un parser de tool-call ausente puede dejar que el modelo produzca una respuesta plausible mientras el harness nunca ve la acción. Para un agente GUI, ese es el modo de fallo que se quiere captar antes de una captura de pantalla. La verificación de contexto es la misma idea: el servidor debe aceptar la ventana que el agente usará realmente.

Los costes son un techo, no una meta

La referencia de la API es una verificación de sentido común, no una meta de adquisición. Si el coste unitario self-hosted está por encima, se está pagando por comodidad, no por escala. Las lecturas de caché importan cuando el agente reenvía el mismo estado de UI. Si el harness puede reutilizar prefijos en caché, el coste efectivo de entrada baja. La licencia del modelo mantiene los pesos portables, pero las flags de serving son la superficie real de integración.

Usa la referencia de la API para probar tu propia matemática. Pon la amortización de GPU, el consumo eléctrico y el tiempo de ops en la misma forma por millón de tokens. Si el número self-hosted es menor, el modelo merece ser servido. Si es mayor, el modelo es un nivel de comodidad, no una ganancia de coste. Mantén la referencia de la API visible en el runbook compartido del equipo.

Los agentes de capturas de pantalla no perdonan los errores de integración silenciosos. El modelo puede parecer sano mientras el harness pierde la acción. El contexto puede fallar solo después de que el historial cruce el límite del servidor. El coste puede cambiar cuando el comportamiento de la caché cambia. El checklist existe para captar esos estados antes de que se conviertan en incidentes de producción.

Antes de una captura de pantalla, verifica que el log del servidor muestre que el parser se resolvió correctamente. Si no fue así, el modelo aún puede responder, pero el harness del agente descartará los tool calls. Revisa la flag de contexto en el entorno del proceso, no solo en la solicitud del cliente. Un cliente puede pedir una ventana larga, pero el servidor debe permitirlo. Para un agente GUI, la ventana es la diferencia entre una acción única y una reparación multi-paso.