LFM-er med 👂 og 👄 nyt!

Når jeg trener multimodale omni foundation-modeller, liker jeg alltid å gå tilbake til den første generalistagenten utgitt av @scott_e_reed, @NandoDF og teamet på DeepMind, utgitt før chatGPT i mai 2022. En 1,2B-modell, Gato, er ikke bare multimodal, men en generalistpolitikk med flere oppgaver og flere legemliggjørelser. "Den kan spille Atari, tekstbilder, chatte, stable blokker med en ekte robotarm og mye mer, og bestemme basert på konteksten om den skal sende ut tekst, felles dreiemomenter, knappetrykk eller andre tokens." Nando twitret "Game over" etter denne utgivelsen!

Innen 2027 er ~$1.1T til ~$1.6T kapital planlagt distribuert på datasentre! Selv om dette er spennende og viktig, trenger økonomien en nærmere titt. med dagens ~30-40 % AI-vekstmarginer, blir disse dollarene betalt tilbake innen 2033, bare hvis effektiviteten fortsetter å forsterkes, AI blir bedre og kravene fortsetter å øke. Den bærekraftige veien er hybrid: skyv så mye slutning som mulig til enheter, eskalere bare de tunge tingene til skyen. Programvaremarginen på enheter er rundt 70-90 % med mye lavere pågående capex. Mer på enheten: > mer privat > raskere > grønnere > og betydelig bedre enhetsøkonomi. Med Nanos som leverer resultater på frontlinjenivå på spesialiserte oppgaver, og kjører lokalt på enheter, er dette vårt første skritt mot global skala, enhetssky-AI som er både tilgjengelig og økonomisk fornuftig. La oss flytte mediantokenet til kanten! 💧⚛️