Те, що Дваркеш називає «безперервним навчанням (на робочому місці)», також відоме як «навчання під час тестування» або навчання з «вагою». Цілком можливо, що можна побудувати цю можливість як програмний каркас навколо LLM. Але очевидно, що самі по собі LLM не мають такої можливості. Дивіться попередню дискусію на цю тему в гілці нижче.

Gemini AI: Фізик і засновник штучного інтелекту Стів Хсу описав «варіант тесту Тюрінга», який, за його словами, не дають змоги виконувати всі поточні моделі великих мов (LLM). У чому полягає проблема Тест Hsu вимагає від LLM виконання наступних двох кроків: Обговорити проблему дослідження кордону в спеціалізованій галузі. Отримати нову інформацію, яка суперечить пануючій літературі, і правильно включити її в своє розуміння. Чому LLM не проходять тест За словами Хсу, LLM зазнають невдачі, тому що вони не можуть адаптувати свої знання на основі нових представлених їм даних. Вони залишаються прив'язаними до (в даному випадку неправильної) інформації, на якій вони були навчені. Проблема особливо висвітлюється в дослідницьких додатках, де Хсу спостерігав, що LLM продовжують покладатися на «неправильні речі, які вони бачили під час попереднього навчання», навіть після того, як він надав дуже переконливі докази, що суперечать даним тренувань. Аспірант, навпаки, може відразу вловити нове розуміння. Основне технічне обмеження Хсу пов'язує невдачу тесту з відкритою проблемою навчання «у вазі», або онлайн-навчання, яке стосується здатності штучного інтелекту оновлювати свої основні «ваги» або параметри на основі нової інформації, а не просто коригувати свій розмовний контекст. Він стверджує, що без цієї можливості LLM не можуть вийти «з дистрибуції», щоб повністю включити новаторську інформацію. Це контрастує з тим, як працюють люди, де нові ідеї можуть докорінно і негайно змінити наше розуміння предмета. LLM не створені для того, щоб змінювати свої базові знання однаково.