Calcula el coste de tokens de Inkling antes de comprar un modelo mayor

Un modelo mayor puede aumentar la tasa de éxito, pero también incrementa los tokens, la latencia y el coste de reintentos. La decisión es el coste por tarea exitosa. El coste esperado por éxito es igual a los tokens por intento multiplicados por el precio por token y divididos por la probabilidad de éxito. Los números provienen de la ficha de modelo y de tu registro de producción. Si el modelo más pequeño necesita menos tokens y el mayor necesita más reintentos, el coste puede moverse en cualquier dirección. No pagues por el modelo mayor hasta que ese número sea menor.

Thinking Machines puso Inkling a disposición como un transformer de mezcla de expertos con pesos abiertos: 975B parámetros totales, 41B parámetros activos.

Una brecha de puntuación es una brecha de reintentos

• Obtén puntuaciones comparables. Ajusta la tarea, el harness, el esfuerzo y el número de intentos. Inkling obtuvo 29,7% en HLE solo texto, mientras que GPT 5.6 Sol en max/xhigh obtuvo 47,2%. Verifica: probabilidades comparables para el mismo harness, esfuerzo y k.
• Normaliza los intentos antes de calcular el precio. Los resultados de benchmarks de programación varían con el número de intentos porque pass@k informa la probabilidad de que al menos uno de k intentos supere; pass@1 y pass@10 miden, por tanto, cosas distintas. Si una ficha reporta best-of-k, conviértelo a tu política de reintentos de producción. Registra: si la ficha reporta éxito en un solo intento o éxito best-of-k.
• Convierte la probabilidad de éxito en intentos esperados. Si una tarea tiene éxito con probabilidad p, los intentos esperados son 1/p. Una puntuación más baja añade coste de reintentos. Almacena: un multiplicador de reintentos para cada modelo.

Los intentos fijan el precio

Recoge los recuentos de tokens del mismo harness. Inkling iguala a Nemotron 3 Ultra en Terminal Bench 2.1 emitiendo aproximadamente un tercio de los tokens. Registra los tokens por intento para cada modelo en el nivel de esfuerzo que vas a usar. Anota: el nombre del harness junto al recuento de tokens.

Aplica la fórmula de coste de tokens ajustada por puntuación. Sea A el candidato y B el modelo mayor. Usa la relación de coste efectiva = (tokens_A / tokens_B) × (score_B / score_A), luego multiplica por el precio por token y añade el coste de reintentos/fallos. El resultado es el coste por tarea exitosa del modelo A relativo al modelo B.

Trata la afirmación de eficiencia como una verificación. En cargas de trabajo que se ejecutan millones de veces, la eficiencia en tokens puede superar la puntuación máxima, porque alcanzar una calidad objetivo con un tercio de los tokens reduce la factura directamente. Anota: una línea de eficiencia en tokens junto a la puntuación.

La ficha es una factura

Revisa el contexto y la mezcla de preentrenamiento. El contexto largo puede cambiar los recuentos de tokens. Inkling acepta hasta 1M tokens de contexto y fue entrenado con 45 billones de tokens en texto, imágenes, audio y vídeo. Escribe el límite de contexto y la mezcla de preentrenamiento junto a la tarea.

Anota los parámetros activos. El coste de serving sigue los parámetros activos. El transformer solo decodificador de 66 capas usa un esqueleto de Mixture-of-Experts disperso que enruta cada token a 6 de 256 expertos y 2 expertos compartidos. Mantén las notas de parámetros activos y enrutamiento de expertos junto al coste de serving.

Calcula primero el precio de la opción más ligera. Thinking Machines también presentó Inkling-Small, con 12B parámetros activos. Compara: una estimación de coste lado a lado antes de escalar.

Calcula el precio del fine-tuning después de la relación base. Una versión de Inkling ajustada por Bridgewater Associates alcanzó 84,7% en un benchmark de razonamiento financiero funcionando con aproximadamente una catorceava parte del coste operativo de las opciones propietarias. Mantén fine-tuning, serving y evaluación como líneas de coste separadas.

Prueba la configuración de esfuerzo que vas a usar. Con esfuerzo de razonamiento máximo, la puntuación de Inkling en SWE-bench Verified es 77,6%. Guarda: una puntuación en el nivel de esfuerzo que vas a usar.

No dejes que SWE-bench tome la decisión. Los checkpoints fine-tuneados en trayectorias de SWE-bench se transfieren mal a otras tareas de código y a LiveCodeBench, por lo que el ajuste en SWE-bench puede no ampliar la capacidad de programación. Ejecuta una evaluación separada en tus propias tareas antes de comprometerte.

Una regla de parada hace la elección medible

Ejecuta modelos candidatos en tareas reales. Usa los mismos prompts, herramientas y timeout. Guarda un registro emparejado con tokens, latencia, reintentos y pass/fail para cada tarea.

Calcula el coste observado por éxito. Suma los tokens de entrada y salida, multiplica por tu precio por token, divide por las tareas exitosas y añade el coste de los intentos fallidos. El registro debería arrojar una relación medida.

Elige el modelo que supere tu umbral de fiabilidad a menor coste. Si el modelo más pequeño no alcanza el umbral, calcula el precio del bucle de reintentos antes de comprar el modelo mayor. Escribe la regla: cambia cuando el coste por éxito supere el coste medido del modelo mayor.