To, co Dwarkesh nazywa "ciągłym (w trakcie pracy) uczeniem się", znane jest również jako "uczenie się w czasie testu" lub "uczenie się w wagach". Możliwe, że można zbudować tę zdolność jako oprogramowanie wspierające wokół LLM-ów. Ale jest jasne, że same LLM-y nie mają tej zdolności. Zobacz wcześniejszą dyskusję na ten temat w wątku poniżej.

Gemini AI: Fizyk i założyciel AI Steve Hsu opisał "wariant testu Turinga", który jego zdaniem wszystkie obecne Duże Modele Językowe (LLM) oblewają. Wyzwanie Test Hsu wymaga, aby LLM wykonał następujące dwa kroki: Omówić problem badawczy na granicy w wyspecjalizowanej dziedzinie. Zostać zaprezentowanym z nowym kawałkiem informacji, który stoi w sprzeczności z panującą literaturą i poprawnie włączyć go do swojego rozumienia. Dlaczego LLM oblewają test Według Hsu, LLM oblewają, ponieważ nie mogą dostosować swojej wiedzy na podstawie nowych dowodów, które im przedstawiono. Pozostają przywiązane do (w tym przypadku błędnych) informacji, na których były trenowane. Problem ten jest szczególnie podkreślany w zastosowaniach badawczych, gdzie Hsu zaobserwował, że LLM nadal polegają na "błędnych rzeczach, które widziały w pretreningu", nawet po tym, jak dostarcza bardzo mocnych dowodów sprzecznych z danymi treningowymi. Z kolei ludzki student doktorancki może natychmiast zrozumieć nowy wgląd. Podstawowe ograniczenie techniczne Hsu łączy porażkę testu z otwartym problemem "uczenia się wagi", czyli uczenia się online, które odnosi się do zdolności AI do aktualizacji swoich podstawowych "wag" lub parametrów na podstawie nowych informacji, a nie tylko do dostosowywania swojego kontekstu konwersacyjnego. Twierdzi, że bez tej zdolności LLM nie mogą wyjść "poza rozkład", aby w pełni włączyć przełomowe nowe informacje. To kontrastuje z tym, jak działają ludzie, gdzie nowe wglądy mogą fundamentalnie i natychmiast zmienić nasze rozumienie danego tematu. LLM nie są zaprojektowane do zmiany swojej podstawowej wiedzy w ten sam sposób.