¿Es seguro usar un modelo de código más barato en producción? La afirmación de un 64% de ahorro de SWE-2

Estás decidiendo si enrutar el tráfico de codificación de producción desde Fable 5.1 hacia SWE-2. El intercambio consiste en una pequeña diferencia de calidad en FrontierCode 1.1 de Cognition a cambio de una gran diferencia de precio: SWE-2 obtuvo 50,0%; Fable 5.1 alcanzó 50,9%, y GPT-6 Astra llegó a 53,3%. La aritmética es sencilla: SWE-2 es un 64% más barato que Fable 5.1 en la comparación principal de FrontierCode 1.1 de Cognition, por lo que un gasto actual de 100 unidades baja a 36 unidades. Si la diferencia de calidad está en una tarea que no ejecutas, la diferencia de precio es real. Si está en una tarea que sí ejecutas, la diferencia de precio es un descuento sobre el riesgo. El problema es que la factura, el marco de evaluación y la mezcla de tareas mueven el número.

La diferencia es el precio de entrada

Cognition hizo disponible SWE-2 el 10 de septiembre de 2026. La comparación entre SWE-2 y Fable 5.1 es el caso de prueba: la fila de calidad está cerca, y la de precio no.

Un modelo casi de frontera más barato es seguro solo cuando su ventaja de costos sobrevive a tu ruta de servicio y ningún benchmark crítico para producción muestra una brecha descalificatoria. La regla de sustitución es una secuencia, y el orden importa. Una línea de costos limpia no puede rescatar una fila que no puedes auditar, y un benchmark fuerte no puede rescatar un modelo al que no puedes acceder antes de enrutar tráfico.

Las verificaciones deciden si el ahorro es real

• Verifica el origen de los benchmarks. Las filas de SWE-2 dependían de la configuración de ejecución de Cognition, usando resultados públicos cuando existían y, en caso contrario, ejecuciones de Devin CLI con la mejor configuración de esfuerzo de razonamiento. Las filas publicadas incluían 92,8% en Terminal-Bench 2.1 y 73,0% en DeepSWE, con la fila de DeepSWE por debajo de la mejor puntuación verificada de Muse Spark 1.3, que fue 75,4%. La tabla de auditoría especifica el marco de evaluación, la configuración de esfuerzo y si cada fila es pública o ejecutada por el proveedor.
• Reconstruye la base de costos. Cognition informó que SWE-2 medium usó un 58% menos de turnos y costó un 81% menos que SWE-1.7 en FrontierCode 1.1 Main. La evaluación de HotpotQA del artículo Efficiency Frontier mostró que una estrategia consciente del despliegue redujo el uso efectivo de tokens en aproximadamente un 25% manteniendo F1 cerca de 0,78, y que la compresión de memoria amortizada redujo el costo de tokens en más de un 50% frente al prompting de contexto completo en configuraciones de mayor rendimiento. No trates un titular del proveedor como tu factura. La estimación de costos incluye turnos, contexto, reintentos y tu pila de servicio.
• Confirma la disponibilidad. SWE-2 estuvo disponible en Devin Desktop, CLI, Web y Fusion al lanzamiento. Fue gratuito para suscriptores Pro, Max y Teams durante un mes. Cognition aún no había lanzado una API independiente, detalles de precios ni pesos del modelo. Un mes gratuito es una ventana de prueba, no un SLA de producción. La ruta soportada va desde tu enrutador hasta el modelo, con un responsable designado y un plan de respaldo.
• Identifica brechas descalificatorias. SWE-2 obtuvo 27,30% en Terminal-Bench 4.0, mientras que la mejor puntuación verificada mostrada para ese benchmark fue Claude Mythos 5.1 con 60,90%, una brecha de 33,6 puntos. La fila de FrontierCode no es la fila de Terminal-Bench 4.0. Si tu tráfico de producción incluye trabajo de terminal de largo horizonte, esa brecha puede ser toda la decisión. La lista de tareas asigna a cada bucket de enrutamiento un umbral de aprobación y una puntuación medida.

La regla de enrutamiento es un umbral, no una preferencia

Enruta solo cuando todas las verificaciones pasen juntas, y mantén la decisión vinculada a la carga de trabajo, no al nombre del modelo. La fila del benchmark se remonta a un marco de evaluación que puedes reproducir o al menos auditar. El ahorro de costos sobrevive a tu ruta de servicio, no solo a la comparación del proveedor. El modelo es accesible a través de una interfaz soportada, no de un mes gratuito o una aplicación de escritorio. La brecha en tu tarea crítica se mantiene dentro del umbral que definiste antes de la prueba.

Si una verificación falla, mantén el tráfico en el modelo actual, anota la verificación fallida y vuelve a probar cuando cambie la brecha o la base de costos.