Comprueba si un modelo de agente open-weights supera a las APIs de frontera: Occamy-1.0

Un modelo de agente open-weights resulta más barato que las APIs de frontera solo cuando el coste de servicio por parámetros activos, la eficiencia de trayectoria y las puntuaciones de benchmark replicadas de forma independiente resisten tu propio harness. Occamy-1.0, un modelo agéntico open-weights del equipo Accio de Alibaba, es un caso de prueba útil porque su diseño de expertos enrutados cambia la matemática del servicio. La compensación es el coste de inferencia agéntica por capacidad, no la capacidad por parámetro.

El coste de un episodio es llamadas multiplicado por tokens por llamada multiplicado por precio por token. La aritmética es lo bastante simple para ejecutarla en una hoja de cálculo: llamadas esperadas, tokens esperados por llamada y tu precio de servicio por token. Las tareas largas pueden llamar al modelo muchas veces, a veces decenas o cientos, por lo que las mínimas diferencias por llamada se acumulan. La primera pregunta es si el episodio se mantiene dentro de tu presupuesto de GPU, no si el modelo es inteligente.

La porción activa, no el total, marca la factura

Los parámetros totales son una cifra de almacenamiento y descarga de pesos. Los parámetros activos son la cifra de cómputo. El modelo agéntico MoE de 35B incorpora 256 expertos, y para cada token enruta a 8 expertos más uno compartido, de modo que aproximadamente 3B de pesos hacen el trabajo. Esa brecha es la razón por la que el modelo puede parecer caro en una ficha de modelo y barato en un perfil de servicio. Si tu stack puede mantener la porción activa residente y enrutar de forma eficiente, la aritmética por token puede acercarse a la de un modelo denso mucho menor. Si no puede, la huella total de pesos se convierte en la restricción.

Ejecuta esta verificación en producción antes de comprometerte:

• Parámetros activos por token. Extrae el recuento activo de la configuración o la ficha de modelo y multiplícalo por tus tokens esperados por tarea.
• Huella de paralelismo tensorial y contexto. Registra el número de GPU, el ancho de paralelismo y el contexto máximo que tu stack de servicio utiliza realmente.
• Eficiencia de trayectoria. Registra tokens, llamadas a herramientas y tiempo real por tarea, no solo la tasa de éxito final.
• Replicación con harness independiente. Vuelve a ejecutar al menos un benchmark público de agentes bajo tu propio harness y calcula el precio de las horas de GPU por tarea.

Cada elemento detecta una trampa distinta: contabilidad MoE, huella de servicio, desperdicio en el bucle del agente e inflación de benchmarks.

La eficiencia de trayectoria es donde los agentes devoran el presupuesto

Las tareas de agentes se ejecutan como bucles, no como prompts únicos. Eso convierte la eficiencia de trayectoria en la variable de precio real. Frente a su checkpoint inicial, Occamy-1.0 utilizó un 19,5 % menos de tokens por trayectoria, realizó un 15,2 % menos de llamadas a herramientas y redujo el tiempo real de la traza en un 46,4 %. Esas no son diferencias cosméticas. En un episodio largo, menos llamadas a herramientas pueden significar menos reintentos, menos reconstrucciones de contexto y menos segundos de GPU en reposo.

El artículo también indica que el modelo ganó mucha capacidad mientras el coste de inferencia por tarea apenas varió en relación con el checkpoint inicial. El resultado debería hacer que un ingeniero se incline hacia adelante. Pero sigue siendo una afirmación relativa, y el checkpoint base importa. Si tu línea base de producción es un modelo diferente, el porcentaje puede no ser transferible.

La replicación es la única puntuación que importa

El equipo Accio informó que Occamy-1.0 obtuvo 82,20 en Claw-Eval, un benchmark de colaboración, con una media por encima de dos modelos de frontera y por debajo de la puntuación más alta reportada de 83,92. El artículo sitúa al modelo en la rodilla de bajo coste de una curva de coste-rendimiento para la inferencia de agentes de colaboración bajo su propia configuración de evaluación y precios. Es una afirmación fuerte. También es una afirmación autoinformada. No se había confirmado ninguna replicación independiente de terceros en el momento de la cobertura.

La inflación de benchmarks es un riesgo conocido. La contaminación de datos de entrenamiento y el ajuste de tablas de clasificación pueden inflar las puntuaciones sin mejorar el comportamiento en producción. La verificación con harness independiente pertenece a la misma decisión que la verificación de precio. Si puedes volver a ejecutar un benchmark público de agentes bajo tu propio protocolo, obtienes un número que puedes defender. Si no puedes, trata la puntuación del proveedor como una pista, no como una partida presupuestaria. Una puntuación replicada también te dice si el modelo se comporta bajo tus herramientas, tus límites de contexto y tus modos de fallo. La verificación es barata de ejecutar y cara de omitir.

El primer preprint público se envió el 4 de septiembre de 2026, lo que te proporciona un artefacto fechado para auditar. Dressage, un marco de entrenamiento de código abierto, se lanzó en junio de 2026, pero la infraestructura de entrenamiento es menos relevante para una decisión de servicio que el perfil de inferencia. Comienza con el artefacto fechado y luego ejecuta la verificación en tu propio hardware.