Was Dwarkesh als "kontinuierliches (berufliches) Lernen" bezeichnet, ist auch bekannt als "Testzeitlernen" oder "In-Waage-Lernen". Es ist möglich, dass man diese Fähigkeit als Softwaregerüst um LLMs herum aufbauen kann. Aber es ist klar, dass LLMs für sich allein diese Fähigkeit nicht besitzen. Siehe die vorherige Diskussion zu diesem Thema im Thread unten.

Gemini AI: Der Physiker und KI-Gründer Steve Hsu beschrieb eine "Variante des Turing-Tests", die seiner Meinung nach alle aktuellen großen Sprachmodelle (LLMs) nicht bestehen. Die Herausforderung Hsus Test erfordert von einem LLM, die folgenden zwei Schritte auszuführen: Diskutiere ein Grenzforschungsproblem in einem spezialisierten Bereich. Werde mit einem neuen Informationsstück konfrontiert, das der vorherrschenden Literatur widerspricht, und integriere es korrekt in dein Verständnis. Warum LLMs den Test nicht bestehen Laut Hsu scheitern LLMs, weil sie ihr Wissen nicht basierend auf neuen Beweisen, die ihnen präsentiert werden, anpassen können. Sie bleiben an den (in diesem Fall falschen) Informationen verankert, auf denen sie trainiert wurden. Das Problem wird speziell in Forschungsanwendungen hervorgehoben, wo Hsu beobachtet hat, dass LLMs weiterhin auf "falschen Dingen, die sie im Pretraining gesehen haben", basieren, selbst nachdem er sehr starke Beweise präsentiert, die den Trainingsdaten widersprechen. Ein menschlicher Doktorand hingegen kann die neue Einsicht sofort erfassen. Die zugrunde liegende technische Einschränkung Hsu verbindet das Scheitern des Tests mit dem offenen Problem des "In-Weight"-Lernens oder Online-Lernens, das sich auf die Fähigkeit einer KI bezieht, ihre grundlegenden "Gewichte" oder Parameter basierend auf neuen Informationen zu aktualisieren, anstatt nur ihren Gesprächskontext anzupassen. Er erklärt, dass LLMs ohne diese Fähigkeit nicht "aus der Verteilung" herauskommen können, um bahnbrechende neue Informationen vollständig zu integrieren. Dies steht im Gegensatz dazu, wie Menschen funktionieren, bei denen neue Einsichten unser Verständnis eines Themas grundlegend und sofort verändern können. LLMs sind nicht darauf ausgelegt, ihr grundlegendes Wissen auf die gleiche Weise zu ändern.