Rich 很棒,但我實際上不認為他會在 LLM 時代是對的。 在我記錄的許多方面,我不同意 Dwarkesh 對持續學習問題(和定義)的看法。 「智慧」的太多部分是基於人類的直覺。
Dwarkesh Patel
Dwarkesh Patel9月27日 00:01
.@RichardSSutton,強化學習的父親,並不認為LLM是苦澀教訓的產物。 我對Richard立場的鋼鐵人詮釋:我們需要一些新的架構來實現持續(在職)學習。 如果我們有持續學習,我們就不需要特別的訓練階段——代理人可以隨時學習——就像所有人類,實際上,像所有動物一樣。 這種新範式將使我們目前的LLM方法過時。 我盡力表達LLM將作為這種經驗學習發生的基礎的觀點。有些火花飛濺。 0:00:00 – LLM是死胡同嗎? 0:13:51 – 人類會進行模仿學習嗎? 0:23:57 – 體驗的時代 0:34:25 – 當前架構在分佈外的泛化能力差 0:42:17 – AI領域的驚喜 0:47:28 – 苦澀教訓在AGI之後仍然適用嗎? 0:54:35 – AI的繼承
@DicksonPau
我想補充的是,這並不是避免基本研究的理由,但你應該對研究的難度有合理的預期。 大型科技公司將會製造出不同的機器。
79.88K