Lo que Dwarkesh se refiere como "aprendizaje continuo (en el trabajo)" también se conoce como "aprendizaje en el momento de la prueba" o "aprendizaje en peso". Es posible que uno pueda construir esta capacidad como un andamiaje de software alrededor de los LLMs. Pero está claro que los LLMs por sí mismos carecen de esta capacidad. Consulta la discusión anterior sobre este tema en el hilo a continuación.

Gemini AI: El físico y fundador de IA Steve Hsu describió una "variante del test de Turing" que afirma que todos los Modelos de Lenguaje Grande (LLMs) actuales no superan. El desafío El test de Hsu requiere que un LLM realice los siguientes dos pasos: Discutir un problema de investigación de frontera en un campo especializado. Ser presentado con una nueva pieza de información que contradice la literatura predominante e incorporarla correctamente en su comprensión. Por qué los LLMs no superan el test Según Hsu, los LLMs fallan porque no pueden adaptar su conocimiento basado en nueva evidencia que se les presenta. Permanecen anclados a la (en este caso, incorrecta) información con la que fueron entrenados. El problema se destaca específicamente en aplicaciones de investigación, donde Hsu ha observado que los LLMs continúan confiando en "cosas incorrectas que vieron en el preentrenamiento," incluso después de que él proporciona evidencia muy sólida que contradice los datos de entrenamiento. Un estudiante de doctorado humano, en contraste, puede captar inmediatamente la nueva perspectiva. La limitación técnica subyacente Hsu conecta la falla del test con el problema abierto del aprendizaje "in-weight", o aprendizaje en línea, que se refiere a la capacidad de una IA para actualizar sus "pesos" o parámetros centrales basados en nueva información, en lugar de solo ajustar su contexto conversacional. Afirma que sin esta capacidad, los LLMs no pueden salir "fuera de distribución" para incorporar completamente nueva información revolucionaria. Esto contrasta con cómo operan los humanos, donde nuevos conocimientos pueden cambiar fundamental y de inmediato nuestra comprensión de un tema. Los LLMs no están diseñados para cambiar su conocimiento fundamental de la misma manera.