Wat Dwarkesh "continue (on-the-job) leren" noemt, staat ook bekend als "test-tijd leren" of "in-gewicht" leren. Het is mogelijk dat men deze capaciteit kan opbouwen als software-ondersteuning rond LLM's. Maar het is duidelijk dat LLM's op zichzelf deze capaciteit missen. Zie de eerdere discussie over dit onderwerp in de onderstaande thread.

Gemini AI: Fysicus en AI-oprichter Steve Hsu beschreef een "variant van de Turing-test" waarvan hij beweert dat alle huidige Large Language Models (LLM's) falen. De uitdaging Hsu's test vereist dat een LLM de volgende twee stappen uitvoert: Bespreek een grensverleggend onderzoeksprobleem in een gespecialiseerd vakgebied. Word geconfronteerd met een nieuw stuk informatie dat de heersende literatuur tegenspreekt en dit correct in zijn begrip opneemt. Waarom LLM's de test niet doorstaan Volgens Hsu falen LLM's omdat ze hun kennis niet kunnen aanpassen op basis van nieuw bewijs dat aan hen wordt gepresenteerd. Ze blijven vastzitten aan de (in dit geval onjuiste) informatie waarop ze zijn getraind. Het probleem wordt specifiek benadrukt in onderzoeksapplicaties, waar Hsu heeft waargenomen dat LLM's blijven vertrouwen op "foute dingen die ze in de pretraining hebben gezien," zelfs nadat hij zeer sterk bewijs heeft geleverd dat de trainingsdata tegenspreekt. Een menselijke PhD-student kan daarentegen onmiddellijk het nieuwe inzicht begrijpen. De onderliggende technische beperking Hsu verbindt het falen van de test aan het open probleem van "in-gewicht" leren, of online leren, wat verwijst naar het vermogen van een AI om zijn kern "gewichten" of parameters bij te werken op basis van nieuwe informatie, in plaats van alleen zijn conversatiecontext aan te passen. Hij stelt dat zonder deze mogelijkheid LLM's niet "uit de distributie" kunnen bewegen om baanbrekende nieuwe informatie volledig op te nemen. Dit staat in contrast met hoe mensen functioneren, waar nieuwe inzichten ons begrip van een onderwerp fundamenteel en onmiddellijk kunnen veranderen. LLM's zijn niet gebouwd om hun fundamentele kennis op dezelfde manier te veranderen.