OpenAI letos 9x zvýšila svou kapacitu a jejím cílem je do roku 2033 125x více, čímž překročí současnou energetickou kapacitu celé Indie - podle @alexeheath zprávy interní poznámky @sama. Jedna věc, kterou je třeba poznamenat, je, že 125násobné zvýšení energetické kapacity podhodnocuje nárůst výpočetních prostředků, protože Nvidia tvrdě tlačí na zvýšení "inteligence na watt", takže efektivní výpočetní výkon by mohl být mnohem vyšší.

Nvidia je stále levná

Množství výpočetních prostředků, které laboratoře mají, dramaticky roste. Například @OpenAI má 14x více výpočetních prostředků, než když spustil GPT-4. @xAI extrémně rychle roste výpočetní výkon a mezi uvedením Grok 3 a Grok 4 zdvojnásobili výpočetní výkon dostupný @AnthropicAI mají nejmenší výpočetní prostředky, ale jsou velmi efektivní při převádění výpočtů na velmi úspěšné modely. Například Claude 3.5 byl spuštěn s přibližně jednou pětinou výpočetních prostředků, které má nyní Anthropic. Poznámka: data nezahrnují @GoogleDeepMind toho, který má pravděpodobně nejvíce výpočtů, i když není jasné, jak je koncentrovaný pro trénink LLM. Zdroj: @SemiAnalysis_