¡Hoy lanzamos InferenceMAX! Contamos con el apoyo de Nvidia, AMD, OpenAI, Microsoft, Pytorch, SGLang, vLLM, Oracle, CoreWeave, TogetherAI, Nebius, Crusoe, HPE, SuperMicro, Dell Se ejecuta todos los días en el software más reciente (vLLM, SGLang, etc.) en cientos de GPU, $ 10Ms de infraestructura ronronea todos los días para crear puntos de referencia de inferencia LLM del mundo real InferenceMAX responde a las principales preguntas de nuestro tiempo con AI Infrastructure. ¿Cuántos tokens se generan por MW de capacidad en diferentes infraestructuras? ¿Cuánto cuesta un millón de caladas? ¿Cuál es la compensación real entre latencia y rendimiento? Tenemos una cobertura de más del 80% de los FLOPS desplegados a nivel mundial al cubrir H100, H200, B200, GB200, MI300X, MI325X y MI355X. Pronto superaremos el 99% con la adición de TPU de Google y Amazon Trainium.

Para ser claros, esto fue un inmenso impulso del personal técnico de SemiAnalysis. Son las estrellas brillantes aquí. Hicieron algo que creo que cambiará la forma en que las personas toman decisiones de compra de infraestructura. También muchas gracias a Nvidia y AMD, y diseñan innumerables horas de esfuerzo.