A OpenAI aumentou a sua capacidade em 9x este ano e tem como objetivo aumentar em mais 125x até 2033, superando assim a capacidade energética atual de toda a Índia - de acordo com o relatório de @alexeheath sobre a nota interna do slack de @sama. Uma coisa a notar é que o aumento de capacidade energética de 125x subestima o aumento de computação, uma vez que a Nvidia está a esforçar-se para aumentar a 'inteligência por watt', portanto, a computação efetiva pode ser muito maior do que isso.

A Nvidia ainda é barata

A quantidade de computação que os laboratórios têm está a crescer dramaticamente. Por exemplo, @OpenAI tem 14 vezes mais computação do que quando lançou o GPT-4. @xAI está a crescer a computação de forma extremamente rápida, e eles duplicaram a computação disponível entre os lançamentos do Grok 3 e do Grok 4. @AnthropicAI tem a menor computação, mas têm sido muito eficientes em converter computação em modelos altamente bem-sucedidos. Por exemplo, o Claude 3.5 foi lançado com cerca de um quinto da computação que a Anthropic tem agora. Nota: os dados excluem @GoogleDeepMind, que provavelmente tem a maior computação, embora não esteja claro quão concentrada está para o treinamento de LLM. Fonte: @SemiAnalysis_