OpenAI увеличили свою мощность в 9 раз в этом году и ставят цель увеличить её еще в 125 раз к 2033 году, что превысит текущую энергетическую мощность всей Индии - согласно отчету @alexeheath о внутренней заметке в slack @sama. Одно, что стоит отметить, это то, что увеличение энергетической мощности в 125 раз занижает увеличение вычислительных мощностей, так как Nvidia активно работает над увеличением 'интеллекта на ватт', поэтому эффективные вычисления могут быть значительно выше.

Nvidia все еще дешевый

Объем вычислительных мощностей, которыми располагают лаборатории, стремительно растет. Например, у @OpenAI в 14 раз больше вычислительных мощностей, чем когда они запустили GPT-4. @xAI очень быстро наращивает вычислительные мощности, и они удвоили доступные вычислительные мощности между запусками Grok 3 и Grok 4. У @AnthropicAI наименьшие вычислительные мощности, но они очень эффективно преобразуют вычислительные мощности в высокоуспешные модели. Например, Claude 3.5 был запущен с примерно одной пятой вычислительных мощностей, которые есть у Anthropic сейчас. Примечание: данные исключают @GoogleDeepMind, у которых, вероятно, самые большие вычислительные мощности, хотя неясно, насколько они сосредоточены на обучении LLM. Источник: @SemiAnalysis_