Aujourd'hui, nous lançons InferenceMAX ! Nous avons le soutien de Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell. Il fonctionne chaque jour avec les derniers logiciels (vLLM, SGLang, etc.) sur des centaines de GPU, des millions de dollars d'infrastructure ronronnent chaque jour pour créer de véritables benchmarks d'inférence LLM dans le monde réel. InferenceMAX répond aux grandes questions de notre époque avec l'infrastructure AI. Combien de tokens sont générés par MW de capacité sur différentes infrastructures ? Combien coûte un million de tokens ? Quel est le véritable compromis entre latence et débit ? Nous couvrons plus de 80 % des FLOPS déployés dans le monde en couvrant H100, H200, B200, GB200, MI300X, MI325X et MI355X. Bientôt, nous dépasserons les 99 % avec l'ajout des TPUs de Google et des Trainium d'Amazon.

Pour être clair, cela a été un immense effort de la part du personnel technique de SemiAnalysis. Ce sont les étoiles brillantes ici. Ils ont fait quelque chose qui, je pense, va remodeler la façon dont les gens prennent des décisions d'achat d'infrastructure. Un grand merci également à Nvidia et AMD, ainsi qu'à leurs ingénieurs pour d'innombrables heures de travail.