Kimi K2-leverandører: Groq betjener Kimi K2 til >400 utdatatokens/s, 40 ganger raskere enn Moonshots førsteparts API Gratulerer til en rekke leverandører for å være raske til å lansere APIer for Kimi K2, inkludert @GroqInc, @basetenco, @togethercompute, @FireworksAI_HQ, @parasail_io, @novita_labs, @DeepInfra og selvfølgelig @Kimi_Moonshot. Dette er imponerende med tanke på størrelsen på modellen med 1 billion totale parametere. Groq skiller seg ut for lynrask hastighet. DeepInfra, Novita og Baseten skiller seg ut for sine priser, og er de eneste leverandørene som priser på samme måte som eller billigere enn Moonshots førsteparts API. Se nedenfor for ytterligere sammenligninger mellom leverandørene. Vi forventer raske økninger i hastighet på tvers av noen leverandører etter hvert som teamene optimaliserer for K2-modellen - tallene våre nedenfor viser medianhastigheter de siste 72 timene, men vi ser allerede at DeepInfra hopper opp til 62 tokens/s i dagens målinger