ما يشير إليه دواركيش باسم "التعلم المستمر (أثناء العمل)" يعرف أيضا باسم "التعلم في وقت الاختبار" أو التعلم "في الوزن". من الممكن أن يتمكن المرء من بناء هذه الإمكانية كسقالات برمجية حول LLMs. لكن من الواضح أن LLMs في حد ذاتها تفتقر إلى هذه القدرة. انظر المناقشة السابقة حول هذا الموضوع في الموضوع أدناه.

الجوزاء الذكاء الاصطناعي: وصف الفيزيائي ومؤسس الذكاء الاصطناعي ستيف هسو "متغير اختبار تورينج" الذي يدعي أن جميع نماذج اللغة الكبيرة الحالية (LLMs) تفشل. التحدي يتطلب اختبار HSU LLM لتنفيذ الخطوتين التاليتين: مناقشة مشكلة بحثية حدودية في مجال متخصص. يتم تقديم معلومة جديدة تتناقض مع الأدبيات السائدة ودمجها بشكل صحيح في فهمها. لماذا تفشل LLMs في الاختبار وفقا لهسو ، يفشل LLMs لأنهم لا يستطيعون تكييف معرفتهم بناء على أدلة جديدة مقدمة لهم. يظلون مرتبطين بالمعلومات (في هذه الحالة ، غير صحيحة) التي تم تدريبهم عليها. يتم تسليط الضوء على المشكلة على وجه التحديد في تطبيقات البحث ، حيث لاحظ Hsu أن LLMs تستمر في الاعتماد على "الأشياء الخاطئة التي رأتها في التدريب المسبق" ، حتى بعد أن قدم أدلة قوية جدا تتناقض مع بيانات التدريب. على النقيض من ذلك ، يمكن لطالب الدكتوراه البشري أن يفهم على الفور البصيرة الجديدة. القيود الفنية الأساسية يربط Hsu فشل الاختبار بالمشكلة المفتوحة المتمثلة في التعلم "في الوزن" ، أو التعلم عبر الإنترنت ، والذي يشير إلى قدرة الذكاء الاصطناعي على تحديث "أوزانه" أو معلماته الأساسية بناء على معلومات جديدة ، بدلا من مجرد تعديل سياق المحادثة. ويذكر أنه بدون هذه القدرة ، لا يمكن ل LLMs الانتقال "خارج التوزيع" لدمج المعلومات الجديدة الرائدة بالكامل. يتناقض هذا مع كيفية عمل البشر ، حيث يمكن للرؤى الجديدة أن تغير فهمنا للموضوع بشكل أساسي وفوري. لم يتم تصميم LLMs لتغيير معرفتهم الأساسية بنفس الطريقة.