🧵 У міру того, як лабораторії штучного інтелекту намагаються масштабувати RL, одне питання має значення: коли ви повинні припинити попереднє навчання та почати RL? Ми потренували 5 моделей Qwen (0.6B→14B) з RL на GSM8K і знайшли щось дике: У маленьких моделях спостерігаються стрибки, схожі на емерджентність. У великих моделях віддача зменшується. Закон масштабування? Не те, чого ви очікували

Отже, @OpenAI займаємося обладнанням з відкритим вихідним кодом, і ажіотажу навколо цього було 0! збираюся зламати це всю ніч, люб'язно надано @dubssg та @michelleqin_, дякую вам :) Я просто хотів @Humane, але oss, дешево, і без всякого сміття.

Крива утримання виглядає ще краще