Mám pocit, jako bych pracoval s týmem 10+ lidí, protože GPT-5 je tady. HVM4 je starý pouze 1 měsíc a již ve všech dimenzích nahrazuje HVM3. Nyní máme prototypový paralelní režim (ano, s líným vyhodnocováním!) funkční, s očekávaným zrychlením.

Pamatujte, že paralelní režim byl: - Rozbitý na HVM1 (který byl líný) - Skvělé na HVM2 (ale bylo to přísné) - Nikdy neimplementováno na HVM3 Mít správný paralelní + líný režim byl stále otevřený problém, ale s tímto nastavením se k tomu konečně dostáváme. Pokud to funguje, znamená to, že můžeme škálovat SupGen pomocí skutečného vyhodnocení vláken, což je mnohem rychlejší než sharding, který právě provádíme. Nyní je opět smutné, že máme 256 maců mini, protože to je optimalizováno pro sharding. To je 1024 výkonných jader, rozděleno je 256 jednotek se 4 jádry, každé po 16 GB. S opravdovým paralelismem jsme mohli místo toho sáhnout po Mac Studios. Ale stálo by to za to? Se stejným $ bychom mohli získat 16 studií s 512 GB paměti a 24 výkonnými jádry. Takže i když nám to umožňuje co nejlépe využít skutečný paralelismus, znamená to také, že máme zhruba ~3x méně výpočetních prostředků. Stálo by to tedy za to? Vlastně nevím, ale brzy to zjistíme. Možná jsem si vybral správně (i když jsem měl neúplné informace)

Pamatujte, že paralelní režim byl: - Rozbitý na HVM1 (který byl líný) - Skvělé na HVM2 (ale bylo to přísné) - Nikdy neimplementováno na HVM3 (problémy s Haskellem) Mít správný paralelní + líný režim byl stále otevřený problém, ale s tímto nastavením se k tomu konečně dostáváme. Pokud to funguje, znamená to, že můžeme škálovat SupGen pomocí skutečného vyhodnocení vláken, což je mnohem rychlejší než sharding, který právě provádíme. Nyní je opět smutné, že máme 256 maců mini, protože to je optimalizováno pro sharding. To je 1024 výkonných jader, rozděleno je 256 jednotek se 4 jádry, každé po 16 GB. S opravdovým paralelismem jsme mohli místo toho sáhnout po Mac Studios. Ale stálo by to za to? Se stejným $ bychom mohli získat 16 studií s 512 GB paměti a 24 výkonnými jádry. Takže i když nám to umožňuje co nejlépe využít skutečný paralelismus, znamená to také, že máme zhruba ~3x méně výpočetních prostředků. Stálo by to tedy za to? Vlastně nevím, ale brzy to zjistíme. Možná jsem si vybral správně (i když jsem měl neúplné informace)

@0xHP10 také napsat spoustu testů a požádat umělou inteligenci, aby je spustila na každé malé změně, kterou udělá. GPT-5 je velmi, velmi dobrý v sebeopravě (a dokonce i v učení a porozumění) na základě neúspěšných testů

@0xHP10 také psát dobré testy a žádat umělou inteligenci, aby je spustila pro každou malou změnu, kterou provede. GPT-5 je velmi dobrý v autokorekci (a dokonce i v učení) na základě neúspěšných testů