Hôm nay chúng tôi ra mắt InferenceMAX! Chúng tôi nhận được sự hỗ trợ từ Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell. Nó hoạt động mỗi ngày trên phần mềm mới nhất (vLLM, SGLang, v.v.) trên hàng trăm GPU, hàng triệu đô la cơ sở hạ tầng đang hoạt động mỗi ngày để tạo ra các tiêu chuẩn LLM Inference thực tế. InferenceMAX trả lời những câu hỏi lớn của thời đại chúng ta với cơ sở hạ tầng AI. Có bao nhiêu Token được tạo ra trên mỗi MW công suất trên các cơ sở hạ tầng khác nhau? Một triệu token có giá bao nhiêu? Thực sự thì độ trễ so với thông lượng là gì? Chúng tôi đã bao phủ hơn 80% FLOPS đã triển khai trên toàn cầu bằng cách bao gồm H100, H200, B200, GB200, MI300X, MI325X và MI355X. Sớm thôi, chúng tôi sẽ đạt hơn 99% với Google TPUs và Amazon Trainium được thêm vào.

Để rõ ràng, đây là một nỗ lực to lớn từ đội ngũ kỹ thuật tại SemiAnalysis. Họ là những ngôi sao sáng ở đây. Họ đã làm điều gì đó mà tôi nghĩ sẽ định hình lại cách mọi người đưa ra quyết định mua sắm cơ sở hạ tầng. Cũng xin cảm ơn lớn đến Nvidia và AMD, cũng như các kỹ sư của họ đã dành hàng giờ đồng hồ nỗ lực.