Цікаво спостерігати, як Bytedance працює над вирішенням проблеми 0-градієнта. Їхня ідея полягає в тому, щоб вирішити цю проблему за допомогою адаптивного бюджету обчислень; Ми підходимо до цього з точки зору винагороди. Навчання GRPO зазвичай використовує невеликі, ретельно підібрані набори даних, дані повинні бути дійсно жорсткими, щоб надати багаті навчальні сигнали та забезпечити можливість виявлення. Тренування на простіших даних лише загострить те, що модель вже бачила в SFT/pre-training!