Кажется, что я работаю с командой из более чем 10 человек, с тех пор как появился GPT-5. HVM4 всего 1 месяц, и он уже превосходит HVM3 по всем параметрам. У нас теперь работает прототип параллельного режима (да, с ленивой оценкой!), с ожидаемым ускорением.

Помните, что параллельный режим был: - Сломан на HVM1 (который был ленивым) - Отличным на HVM2 (но он был строгим) - Никогда не реализован на HVM3 Наличие правильного параллельного + ленивого режима все еще было открытой проблемой, но с этой настройкой мы, наконец, движемся в правильном направлении. Если это сработает, это значит, что мы сможем масштабировать SupGen с помощью истинной потоковой оценки, что намного быстрее, чем шардирование, которое мы сейчас используем. Теперь, снова, грустно, что у нас есть 256 mac mini, потому что это оптимизировано для шардирования. Это 1024 производительных ядра, разделенных на 256 единиц с 4 ядрами, по 16 ГБ каждая. С истинным параллелизмом мы могли бы выбрать Mac Studios вместо этого. Но будет ли это действительно стоить? С теми же деньгами мы могли бы получить 16 студий с 512 ГБ памяти и 24 производительными ядрами каждая. Так что, хотя это позволяет нам максимально использовать истинный параллелизм, это также означает, что у нас примерно на ~3x меньше вычислительных мощностей в целом. Стоит ли это тогда? На самом деле, я не знаю, но мы скоро это узнаем. Возможно, я сделал правильный выбор (хотя у меня была неполная информация)

Помните, что параллельный режим был: - Сломан на HVM1 (который был ленивым) - Отличным на HVM2 (но он был строгим) - Никогда не реализован на HVM3 (проблемы с Haskell) Наличие правильного параллельного + ленивого режима все еще было открытой проблемой, но с этой настройкой мы, наконец, движемся в правильном направлении. Если это сработает, это значит, что мы сможем масштабировать SupGen с помощью истинной потоковой оценки, что намного быстрее, чем шардирование, которое мы сейчас используем. Теперь, снова, грустно, что у нас 256 mac mini, потому что это оптимизировано для шардирования. Это 1024 производительных ядра, разделенных на 256 единиц с 4 ядрами, по 16 ГБ каждое. С истинным параллелизмом мы могли бы выбрать Mac Studios вместо этого. Но будет ли это действительно стоить? За те же деньги мы могли бы получить 16 студий с 512 ГБ памяти и 24 производительными ядрами каждое. Так что, хотя это позволяет нам максимально использовать истинный параллелизм, это также означает, что у нас примерно на ~3x меньше вычислительных мощностей в целом. Стоит ли это тогда? На самом деле, я не знаю, но мы скоро это узнаем. Возможно, я сделал правильный выбор (хотя у меня была неполная информация)

@0xHP10 также напишите кучу тестов и попросите ИИ запускать их при каждом небольшом изменении, которое он вносит. gpt-5 очень, очень хорошо справляется с самокоррекцией (и даже обучением и пониманием) на основе неудачных тестов

@0xHP10 также пишите хорошие тесты и просите ИИ запускать их для каждого небольшого изменения, которое он вносит. gpt-5 очень хорошо справляется с самокоррекцией (и даже обучением) на основе неудачных тестов