热门话题
#
Bonk 生态迷因币展现强韧势头
#
有消息称 Pump.fun 计划 40 亿估值发币,引发市场猜测
#
Solana 新代币发射平台 Boop.Fun 风头正劲
自从GPT-5上线以来,我确实感觉自己像是在和一个10人以上的团队合作。HVM4才刚满一个月,已经在各个维度上超越了HVM3。我们现在有一个原型并行模式(是的,带有惰性求值!)在运行,速度提升如预期。
请记住,平行模式是:
- 在 HVM1 上出现了问题(那是懒惰的)
- 在 HVM2 上表现很好(但它是严格的)
- 从未在 HVM3 上实现过
拥有正确的平行 + 懒惰模式仍然是一个未解决的问题,但通过这个设置,我们终于接近了。
如果它有效,那就意味着我们可以通过真正的线程评估来扩展 SupGen,这比我们目前正在做的分片要快得多。
现在,再次说,拥有 256 台 Mac mini 是令人遗憾的,因为那是为分片优化的。这是 1024 个性能核心,分配到 256 个单元,每个单元有 4 个核心,16 GB 内存。通过真正的并行性,我们本可以选择 Mac Studios。可是,这真的值得吗?
用同样的钱,我们可以得到 16 台 Studio,每台有 512 GB 的内存和 24 个性能核心。所以,虽然这让我们能够充分利用真正的并行性,但这也意味着我们总的计算能力大约减少了 3 倍。那么,这值得吗?
我其实不知道,但我们很快就会找到答案。也许我做出了正确的选择(尽管我当时的信息不完整)
请记住,平行模式是:
- 在 HVM1 上被破坏(那是懒惰的)
- 在 HVM2 上表现很好(但它是严格的)
- 从未在 HVM3 上实现(Haskell 问题)
拥有正确的平行 + 懒惰模式仍然是一个未解决的问题,但通过这个设置,我们终于接近了。
如果它有效,那就意味着我们可以通过真正的线程评估来扩展 SupGen,这比我们目前正在做的分片要快得多。
现在,再次说,拥有 256 台 Mac mini 是令人遗憾的,因为那是为分片优化的。这是 1024 个性能核心,分为 256 个单元,每个单元有 4 个核心,16 GB 内存。通过真正的并行性,我们本可以选择 Mac Studios。但这真的值得吗?
用同样的钱,我们可以得到 16 台 Studio,每台有 512 GB 内存和 24 个性能核心。因此,虽然这使我们能够充分利用真正的并行性,但这也意味着我们总的计算能力大约减少了 ~3 倍。那么,这值得吗?
我其实不知道,但我们很快就会找到答案。也许我做出了正确的选择(尽管我信息不完整)
@0xHP10 还要写大量的测试,并要求 AI 在每次小改动时运行这些测试。gpt-5 在根据失败的测试进行自我修正(甚至学习和理解)方面非常非常出色。
@0xHP10 还要编写良好的测试,并要求 AI 在每次小改动时运行这些测试。gpt-5 在根据失败的测试进行自我修正(甚至学习)方面非常出色。
26.59K
热门
排行
收藏