Річ дивовижний, але я насправді не думаю, що він буде правий в епоху LLM. Багато в чому так само я задокументував, що не згоден з Дваркешем щодо проблеми постійного навчання (і визначення). Занадто багато «інтелекту» ґрунтується на людській інтуїції.
Dwarkesh Patel
Dwarkesh Patel27 вер., 00:01
.@RichardSSutton, батько навчання з підкріпленням, не вважає, що LLM – це гіркі уроки. Моя сталева людина з позицією Річарда: нам потрібна нова архітектура, яка забезпечить безперервне (на робочому місці) навчання. І якщо у нас є постійне навчання, нам не потрібна спеціальна фаза навчання - агент просто вчиться на льоту - як всі люди, і навіть як всі тварини. Ця нова парадигма зробить наш нинішній підхід до LLM застарілим. Я зробив усе можливе, щоб представити думку, що LLM функціонуватимуть як основа, на якій може відбуватися це експериментальне навчання. Полетіли якісь іскри. 0:00:00 – LLM – це глухий кут? 0:13:51 – Чи займаються люди імітацією? 0:23:57 – Ера досвіду 0:34:25 – Поточні архітектури погано узагальнюють поза розподілом 0:42:17 – Сюрпризи у сфері штучного інтелекту 0:47:28 – Чи буде «Гіркий урок» застосовуватися після AGI? 0:54:35 – Спадкоємство до ШІ
@DicksonPau
Я б додав, що це НЕ привід уникати фундаментальних досліджень, але ви повинні бути вивіреними у своїх очікуваннях щодо того, наскільки важкими є дослідження. Big tech зробить іншу машину.
75,21K