スタンフォード大学はLLMの微調整を廃止したのでしょうか? スタンフォード大学のこの新しい論文「エージェント コンテキスト エンジニアリング (ACE)」は、重みを 1 つも変更せずにモデルをよりスマートにできるという、奇妙なことを証明しています。 仕組みは次のとおりです。 ACE は、モデルを再トレーニングする代わりに、コンテキスト自体を進化させます。モデルは独自のプロンプトを作成し、何がうまくいったのか、何がうまくいかなかったのかを振り返ってから、書き直します。何度も何度も。自己改善システムになります。 これは、すべての失敗が教訓となり、すべての成功がルールとなる生きたノートを保管するモデルのようなものだと考えてください。 結果は印象的です。 - AppWorld の GPT-4 搭載エージェントよりも 10.6% 優れています - 財務推論タスクの 8.6% 改善 - コストとレイテンシーを86.9%削減 ラベル付きデータは必要ありません。フィードバックループだけです。 直感に反する部分は次のとおりです。 誰もが短くてクリーンなプロンプトを追いかけています。ACEはその逆です。それは、時間の経過とともに複合化する、密度が高く進化するプレイブックを構築します。 LLM にはシンプルさは必要ないことがわかりました。コンテキスト密度が必要です。 ここでの問題は、これらすべての情報と経験をどのように管理するかです。 ここで、エージェント用のリアルタイムメモリ層(@zep_aiなど)を構築することが、優れたソリューションであり、今後の研究の活発な分野となり得ます。 どう思いますか? 次のツイートで論文をリンクしました! ____ 洞察力に富んだと思われた場合は、ネットワークと再共有してください。 → @akshay_pachaar ✔️ LLM、AI エージェント、機械学習に関するその他の洞察とチュートリアルについては、こちらをご覧ください。

論文へのリンク: