Vandaag lanceren we InferenceMAX! We hebben ondersteuning van Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell. Het draait elke dag op de nieuwste software (vLLM, SGLang, enz.) op honderden GPU's, $10Ms aan infrastructuur draait elke dag om echte wereld LLM Inference benchmarks te creëren. InferenceMAX beantwoordt de belangrijkste vragen van onze tijd met AI-infrastructuur. Hoeveel tokens worden er gegenereerd per MW capaciteit op verschillende infrastructuren? Hoeveel kost een miljoen tokens? Wat is de echte latentie versus doorvoersnelheid trade-off? We hebben dekking van meer dan 80% van de wereldwijd uitgerolde FLOPS door H100, H200, B200, GB200, MI300X, MI325X en MI355X te dekken. Binnenkort zullen we boven de 99% zijn met Google TPUs en Amazon Trainium die worden toegevoegd.

Om duidelijk te zijn, dit was een enorme inspanning van het technische personeel bij SemiAnalysis. Zij zijn de stralende sterren hier. Ze hebben iets gedaan dat, denk ik, de manier waarop mensen infrastructuur aankopen zullen veranderen. Ook een grote dank aan Nvidia en AMD, evenals hun ingenieurs voor ontelbare uren inspanning.