Philipp Schmid släppte en häpnadsväckande siffra igår om Googles AI-skala: 1 300 biljoner tokens per månad (1,3 kvadriljoner - första gången jag någonsin har använt den enheten!). 📷 Nu när vi har tre datapunkter om Googles tokenbehandling kan vi kartlägga framstegen. I maj meddelade Google på I/O att de bearbetar 480 biljoner månatliga tokens på sina ytor. Två månader senare, i juli, meddelade de3 att antalet hade fördubblats till 980 biljoner. Nu är det uppe i 1300 biljoner. De absoluta talen är häpnadsväckande. Men kan det vara så att tillväxten bromsar in? 📷 Mellan maj och juli lade Google till 250 miljarder tokens per månad. Under den senaste perioden sjönk den siffran till 107 T tokens per månad. Detta väcker fler frågor än det besvarar. Vad kan ligga bakom den minskade tillväxten? Några hypoteser: - Google kan vara hastighetsbegränsande AI för gratisanvändare på grund av enhetsekonomi. - Google kan begränsas av tillgängligheten i datacentret. Det kanske inte finns tillräckligt med GPU:er för att fortsätta växa i den här takten. Företaget har sagt att det kommer att vara kapacitetsbegränsat fram till Q4 2025 i vinstsamtal i år. - Google kombinerar intern och extern behandling av AI-tokens. Förhållandet kan ha ändrats. - Google kan öka effektiviteten med hjälp av algoritmiska förbättringar, bättre cachelagring eller andra framsteg som minskar den totala mängden tokens. Jag kunde inte hitta några andra jämförbara tidsserier från neoclouds eller hyperscalers för att dra bredare slutsatser. Dessa datapunkter från Google är bland de få vi kan spåra. Investeringarna i datacenter ökar mot 400 miljarder dollar i år. Samtidigt sluter etablerade företag strategiska affärer till ett värde av tiotals miljarder, vilket väcker frågor om cirkulär finansiering och efterfrågans hållbarhet. Detta är ett av mätvärdena att spåra!

När jag tittade på OpenAI Dev Day-videorna lyssnade jag när Thibault, teknisk ledare för Codex, meddelade att "Codex är nu en senior ingenjör." AI kom in i organisationen som en praktikant - osäker och oerfaren. Under sommaren sa ingenjörsledare att de skulle behandla den som en junioringenjör. Grattis, robot. Du har blivit befordrad - igen! Från praktikant till senior ingenjör på ungefär ett år. En ganska lång bana. Andra datapunkter: - 92 % av den tekniska personalen använder Codex dagligen - den personalen genererar 72 % fler pull-begäranden (kodinlämningar) än de som inte använder AI Teamet delade med sig av mer. De bästa designmönstren för att samarbeta med Codex är arkitekt-implementerarsystem och slutna återkopplingsslingor. ARKITEKT-IMPLEMENTERARE Jag skrev om arkitekt-implementerar-arkitekturer i måndags. Mönstret delar upp arbetet mellan två separata robotar: den första designar lösningen, den andra utför den. Be en robot att skriva plandokumentet. Du kommer att förfina ditt tänkande när du granskar det. Roboten hanterar förloppet genom varje steg. Den kontraintuitiva delen? Den andra roboten ska inte se den första robotens sammanhang. Fräscha, kräsna digitala ögon fångar upp fler fel. SLUTNA ÅTERKOPPLINGSSLINGOR I planen är det viktigt att utforma de tester/hinder som en robot måste passera för att slutföra uppgiften. Roboten kör testerna, fixar koden, kör testerna igen och upprepar tills den godkänns. Dessa tester kan vara visuella (utvärdera skärmdumpar), funktionella (körs koden) eller logiska (uppfyller koden kraven). Sedan en tredje robot recenserar för kvalitet och stil. Rekordet på OpenAI är 7 timmars autonom exekvering, 150 miljoner tokens och 15 000 rader kod omstrukturerad med detta designmönster. Ganska anmärkningsvärt även för en senior ingenjör. Grattis, robot. Fortsätt att klättra på den stegen.