史丹佛大學剛剛終結了LLM微調嗎? 這篇來自史丹佛的新論文,名為Agentic Context Engineering (ACE),證明了一件驚人的事情:你可以讓模型變得更聰明,而不需要改變任何一個權重。 它是如何運作的: ACE不是重新訓練模型,而是進化上下文本身。模型自己撰寫提示,反思哪些有效、哪些無效,然後重寫它。一次又一次。它成為一個自我改善的系統。 想像一下,這就像模型保持著一本活的筆記本,每一次失敗都成為一課,每一次成功都成為一條規則。 結果令人印象深刻: - 在AppWorld上比GPT-4驅動的代理商好10.6% - 在金融推理任務上提高8.6% - 成本和延遲降低86.9% 不需要標記數據。只需要反饋循環。 這裡的反直覺部分是: 每個人都在追求簡短、乾淨的提示。ACE則相反。它建立了密集的、演變的操作手冊,隨著時間的推移而累積。 結果發現,LLM不需要簡單性。它們需要上下文密度。 這裡的問題是如何管理所有這些信息和經驗。 這就是為什麼為代理商(例如 @zep_ai )建立實時記憶層可以是一個很好的解決方案,也是未來的活躍研究領域。 你有什麼想法? 我已經在下一條推文中鏈接了這篇論文! ____ 如果你覺得這很有見地,請與你的網絡分享。 找到我 → @akshay_pachaar ✔️ 獲取更多有關LLM、AI代理和機器學習的見解和教程!
論文連結:
53.03K