Interessante ver a Bytedance trabalhando para resolver o problema do gradiente 0. A ideia deles é abordá-lo por meio de um orçamento de computação adaptável; nós o abordamos de uma perspectiva de recompensa. O treinamento GRPO normalmente usa conjuntos de dados pequenos e cuidadosamente selecionados, os dados precisam ser muito difíceis para fornecer sinais de aprendizado avançados e permitir a descoberta. O treinamento em dados mais fáceis apenas aprimorará o que o modelo já viu no SFT/pré-treinamento!