Tänään lanseeraamme InferenceMAXin! Meillä on tukea Nvidialta, AMD:ltä, OpenAI:lta, Microsoftilta, Pytorchilta, SGLangilta, vLLM:ltä, Oraclelta, CoreWeavelta, TogetherAI:lta, Nebiukselta, Crusoelta, HPE:ltä, SuperMicrolta, Delliltä Se toimii joka päivä uusimmalla ohjelmistolla (vLLM, SGLang jne.) sadoilla GPU:illa, 10 miljoonan dollarin infrastruktuuri kehrää joka päivä luodakseen todellisia LLM Inference -vertailuarvoja InferenceMAX vastaa aikamme tärkeimpiin kysymyksiin tekoälyinfrastruktuurin avulla. Kuinka monta tokenia tuotetaan kapasiteetin megawattia kohden eri infrastruktuurissa? Kuinka paljon miljoona tokia maksaa? Mikä on todellinen latenssin ja suorituskyvyn välinen kompromissi? Kattamme yli 80 % käyttöön otetuista FLOPS-tiedostoista maailmanlaajuisesti kattamalla H100-, H200-, B200-, GB200-, MI300X-, MI325X- ja MI355X-järjestelmät. Pian olemme yli 99 %, kun Google TPU:t ja Amazon Trainium on lisätty.

Selvyyden vuoksi tämä oli valtava nosto SemiAnalysisin tekniseltä henkilökunnalta. He ovat loistavia tähtiä täällä. He tekivät jotain, jonka uskon muokkaavan ihmisten tapaa tehdä infrastruktuurin ostopäätöksiä. Myös valtava kiitos Nvidialle ja AMD:lle, ja he suunnittelevat lukemattomia tunteja vaivaa.