Audita la pila de inferencia antes del bloqueo de hardware

DeepSeek planea instalar al menos 160.000 aceleradores Huawei Ascend 950DT en un centro de datos en construcción en Mongolia Interior. Los aceleradores planificados están destinados a inferencia, no al entrenamiento de modelos. Esa es una decisión de servicio: el acelerador fija los tokens por segundo por usuario y el coste por token antes de que se elija el modelo. DSpark mejoró el rendimiento agregado en un 51 % para DeepSeek-V4-Flash con un objetivo de 80 tokens por segundo por usuario y en un 52 % para DeepSeek-V4-Pro con un objetivo de 35 tokens por segundo por usuario. Con el objetivo de 80 tokens por segundo por usuario, esa ganancia significa que la misma carga de usuarios puede atenderse con menos horas de acelerador. La aritmética, no la demostración, decide si un chip merece la pena comprarlo.

Los equipos de producción suelen comprar primero el modelo y tratar el acelerador como un detalle posterior. El orden inverso es más barato: puedes cambiar una familia de modelos más rápido que un rack, una pila de controladores, un programador y una línea de facturación.

Mantén separados los pesos, el prompt y el conjunto de evaluación del equipo de modelos del acelerador, el programador, el SLO y el plan de capacidad del equipo de plataforma. Si las decisiones se fusionan, el proveedor con el mejor benchmark puede ganar el hardware antes de que se haga la matemática del servicio. La auditoría que sigue impone la pregunta de servicio antes que la de adquisición.

La decisión del chip es una decisión de servicio

Los tokens por segundo pico son un número de laboratorio. Los SLO de producción son a nivel de usuario: cuántos tokens por segundo puede recibir cada usuario mientras la flota se mantiene dentro de los límites de latencia, errores y capacidad. Un proveedor puede mostrar un número agregado alto y aun así no alcanzar tu objetivo por usuario una vez cambian la longitud de contexto, el batching y la concurrencia. La auditoría pide el número por usuario en el SLO, no el número de portada.

La versión de DSpark está disponible a través de páginas públicas de GitHub y Hugging Face bajo una licencia MIT. La evaluación de DSpark de DeepSeek y los checkpoints publicados abarcan otras familias de modelos abiertos, como Qwen de Alibaba y Gemma de Google. El soporte de familias de modelos es una vía de salida: si la pila de servicio puede ejecutar familias alternativas, estás menos atrapado por la hoja de ruta de un modelo.

Pon precio a las cinco verificaciones antes de firmar

Un proveedor puede ganar la demostración y aun así perder la auditoría de producción. Cada verificación expone un bloqueo diferente y un modo de fallo que puedes poner en precio antes de firmar. Ejecuta la auditoría con el mismo perfil de tráfico que esperas en producción: misma longitud de contexto, misma concurrencia, mismo presupuesto de errores. Un benchmark de prompt corto no es comparable. Un benchmark de un solo acelerador deja la vía de salida sin probar.

• Soporte de familias de modelos. Confirma que la pila de servicio puede ejecutar modelos de pesos abiertos alternativos, no solo el modelo de la demostración. Si la respuesta es una hoja de ruta, trátala como no demostrada.
• Tokens por segundo por usuario en SLO. Pide la tasa de tokens por usuario en tu objetivo de latencia, longitud de contexto y concurrencia. El rendimiento agregado no equivale a la experiencia del usuario.
• Coste por token. Convierte las horas de acelerador, la energía, la refrigeración y el soporte en coste por token en el SLO. Un chip más barato puede volverse caro si necesita más réplicas para mantener el objetivo.
• Abstracción del acelerador y vía de salida. Verifica si la capa de servicio puede mover cargas de trabajo entre aceleradores sin reescribir el modelo, el prompt o el contrato del cliente. Si el programador es específico del proveedor, la salida es un proyecto de migración.
• Plazo de capacidad de producción. Pregunta cuándo estarán disponibles los chips de producción, los racks y el soporte, no cuándo se envían las muestras. Un clúster que no puede entregarse a tiempo no es una opción de servicio.

El plazo de capacidad es el bloqueo silencioso

La instalación planificada de Huawei se situaría entre los mayores clústeres de chips de IA de Huawei conocidos, aunque su calendario de despliegue depende de la capacidad de producción de Huawei. El objetivo probable del plan de inferencia es reducir la dependencia tanto de Huawei como de Nvidia. Un gran clúster de inferencia puede planificarse y aun así no entregarse cuando se necesita.

La adquisición termina cuando la pila de servicio puede demostrar la tasa de tokens por usuario, el coste por token y la vía hacia otro acelerador. Una promesa en cualquier verificación significa que el hardware no está listo para el tráfico real de producción.