¡Hoy lanzamos InferenceMAX! Contamos con el apoyo de Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell. Funciona todos los días con el software más reciente (vLLM, SGLang, etc.) en cientos de GPUs, con decenas de millones de dólares en infraestructura funcionando cada día para crear benchmarks de inferencia LLM en el mundo real. InferenceMAX responde a las grandes preguntas de nuestro tiempo con infraestructura de IA. ¿Cuántos tokens se generan por MW de capacidad en diferentes infraestructuras? ¿Cuánto cuesta un millón de tokens? ¿Cuál es la verdadera compensación entre latencia y rendimiento? Tenemos cobertura de más del 80% de los FLOPS desplegados a nivel global al cubrir H100, H200, B200, GB200, MI300X, MI325X y MI355X. Pronto estaremos por encima del 99% con Google TPUs y Amazon Trainium siendo añadidos.

Para ser claros, esto fue un gran esfuerzo por parte del personal técnico de SemiAnalysis. Ellos son las estrellas brillantes aquí. Hicieron algo que creo que cambiará la forma en que las personas toman decisiones de compra de infraestructura. También un enorme agradecimiento a Nvidia y AMD, así como a sus ingenieros por las incontables horas de esfuerzo.