To, co Dwarkesh označuje jako "kontinuální učení (na pracovišti)", je také známé jako "učení v době testu" nebo "učení ve váze". Je možné, že lze tuto schopnost postavit jako softwarové lešení kolem LLM. Je však jasné, že LLM samy o sobě tuto schopnost postrádají. Viz předchozí diskuze na toto téma ve vlákně níže.

Gemini AI: Fyzik a zakladatel umělé inteligence Steve Hsu popsal "variantu Turingova testu", o které tvrdí, že všechny současné velké jazykové modely (LLM) selhávají. Výzva Test Hsu vyžaduje, aby LLM provedl následující dva kroky: Diskutujte o problému hraničního výzkumu ve specializovaném oboru. Prezentovat novou informaci, která je v rozporu s převládající literaturou a správně ji začlenit do svého chápání. Proč LLM selhávají v testu Podle Hsu LLM selhávají, protože nemohou přizpůsobit své znalosti na základě nových důkazů, které jim byly předloženy. Zůstávají ukotveni k (v tomto případě nesprávným) informacím, na kterých byli vyškoleni. Problém je konkrétně zdůrazněn ve výzkumných aplikacích, kde Hsu pozoroval, že LLM se nadále spoléhají na "špatné věci, které viděl v předtréninku", i když poskytl velmi silné důkazy odporující tréninkovým datům. Naproti tomu lidský doktorand může nový vhled okamžitě pochopit. Základní technické omezení Hsu spojuje neúspěch testu s otevřeným problémem "in-weight" učení nebo online učení, což odkazuje na schopnost umělé inteligence aktualizovat své základní "váhy" nebo parametry na základě nových informací, spíše než jen upravovat svůj konverzační kontext. Uvádí, že bez této schopnosti se LLM nemohou přesunout "mimo distribuci" a plně začlenit nové převratné informace. To je v kontrastu s tím, jak fungují lidé, kde nové poznatky mohou zásadně a okamžitě změnit naše chápání předmětu. LLM nejsou stavěny na to, aby stejným způsobem měnily své základní znalosti.