Det Dwarkesh refererer til som "kontinuerlig (på jobben) læring" er også kjent som "test-time læring" eller "in-weight" læring. Det er mulig at man kan bygge denne muligheten som programvarestillas rundt LLM-er. Men det er tydelig at LLM-er i seg selv mangler denne evnen. Se tidligere diskusjon om dette emnet i tråden nedenfor.

Tvillingene AI: Fysiker og AI-grunnlegger Steve Hsu beskrev en «Turing-testvariant» som han hevder at alle nåværende Large Language Models (LLM) mislykkes. Utfordringen HSUs test krever en LLM for å utføre følgende to trinn: Diskutere et frontlinjeforskningsproblem innen et spesialisert felt. Bli presentert for en ny informasjon som motsier rådende litteratur og inkorporere den korrekt i forståelsen. Hvorfor LLM-er mislykkes i testen Ifølge Hsu mislykkes LLM-er fordi de ikke kan tilpasse kunnskapen sin basert på nye bevis som presenteres for dem. De forblir forankret til (i dette tilfellet feil) informasjonen de ble trent på. Problemet er spesielt fremhevet i forskningsapplikasjoner, der Hsu har observert at LLM-er fortsetter å stole på "feil ting de så i pretraining", selv etter at han gir veldig sterke bevis som motsier treningsdataene. En menneskelig doktorgradsstudent kan derimot umiddelbart forstå den nye innsikten. Den underliggende tekniske begrensningen Hsu kobler testens fiasko til det åpne problemet med «in-weight»-læring, eller nettbasert læring, som refererer til evnen til en AI til å oppdatere sine kjerne-«vekter» eller parametere basert på ny informasjon, i stedet for bare å justere samtalekonteksten. Han uttaler at uten denne muligheten kan ikke LLM-er bevege seg "ut av distribusjon" for å fullt ut inkorporere banebrytende ny informasjon. Dette står i kontrast til hvordan mennesker fungerer, der ny innsikt fundamentalt og umiddelbart kan endre vår forståelse av et emne. LLM-er er ikke bygget for å endre sin grunnleggende kunnskap på samme måte.