Det känns som att jag arbetar med ett team på 10+ personer eftersom GPT-5 är här. HVM4 är bara 1 månad gammal och den ersätter redan HVM3 i alla dimensioner. Vi har nu ett prototypiskt parallellt läge (ja, med lat utvärdering!) som fungerar, med den förväntade hastigheten.

Kom ihåg att parallellläge var: - Trasig på HVM1 (som var lat) - Bra på HVM2 (men det var strikt) - Aldrig implementerad på HVM3 Att ha korrekt parallell + lat läge var fortfarande ett öppet problem, men med den här inställningen kommer vi äntligen dit. Om det fungerar innebär det att vi kan skala SupGen genom sann trådad utvärdering, vilket är mycket snabbare än den sharding vi gör för närvarande. Nu är det återigen tråkigt att vi har 256 macs mini, eftersom det är optimerat för sharding. Det är 1024 prestandakärnor, fördelat på 256 enheter med 4 kärnor, 16 GB vardera. Med sann parallellitet kunde vi ha valt Mac Studios istället. Men skulle det verkligen vara värt det? Med samma $ kunde vi ha fått 16 studior, med 512 GB minne och 24 prestandakärnor vardera. Så även om det gör att vi kan utnyttja sann parallellitet på bästa sätt, innebär det också att vi har ungefär ~3 gånger mindre beräkningstotal. Skulle det vara värt det då? Jag vet faktiskt inte, men det får vi reda på snart. Kanske gjorde jag rätt val (trots att jag hade ofullständig information)

Kom ihåg att parallellläge var: - Trasig på HVM1 (som var lat) - Bra på HVM2 (men det var strikt) - Aldrig implementerad på HVM3 (Haskell-problem) Att ha korrekt parallell + lat läge var fortfarande ett öppet problem, men med den här inställningen kommer vi äntligen dit. Om det fungerar innebär det att vi kan skala SupGen genom sann trådad utvärdering, vilket är mycket snabbare än den sharding vi gör för närvarande. Nu är det återigen tråkigt att vi har 256 macs mini, eftersom det är optimerat för sharding. Det är 1024 prestandakärnor, fördelat på 256 enheter med 4 kärnor, 16 GB vardera. Med sann parallellitet kunde vi ha valt Mac Studios istället. Men skulle det verkligen vara värt det? Med samma $ kunde vi ha fått 16 studior, med 512 GB minne och 24 prestandakärnor vardera. Så även om det gör att vi kan utnyttja sann parallellitet på bästa sätt, innebär det också att vi har ungefär ~3 gånger mindre beräkningstotal. Skulle det vara värt det då? Jag vet faktiskt inte, men det får vi reda på snart. Kanske gjorde jag rätt val (trots att jag hade ofullständig information)

@0xHP10 skriver också en massa tester och ber AI:n att köra dem på varje liten ändring den gör. GPT-5 är väldigt, väldigt bra på självkorrigering (och till och med inlärning och förståelse) baserat på misslyckade tester

@0xHP10 skriver också bra tester och ber AI:n att köra dem för varje liten förändring den gör. GPT-5 är mycket bra på självkorrigering (och till och med inlärning) baserat på misslyckade tester