.@RichardSSutton, der Vater des Reinforcement Learning, denkt nicht, dass LLMs bitter-lesson-pilled sind. Mein Stahlmann von Richards Position: Wir brauchen eine neue Architektur, um kontinuierliches (on-the-job) Lernen zu ermöglichen. Und wenn wir kontinuierliches Lernen haben, brauchen wir keine spezielle Trainingsphase - der Agent lernt einfach im Fluss - wie alle Menschen und tatsächlich, wie alle Tiere. Dieses neue Paradigma wird unseren aktuellen Ansatz mit LLMs obsolet machen. Ich habe mein Bestes getan, um die Ansicht zu vertreten, dass LLMs als Grundlage fungieren werden, auf der dieses erfahrungsbasierte Lernen stattfinden kann. Einige Funken flogen. 0:00:00 – Sind LLMs eine Sackgasse? 0:13:51 – Machen Menschen Imitationslernen? 0:23:57 – Die Ära der Erfahrung 0:34:25 – Aktuelle Architekturen generalisieren schlecht außerhalb der Verteilung 0:42:17 – Überraschungen im KI-Bereich 0:47:28 – Wird die Bittere Lektion nach AGI immer noch gelten? 0:54:35 – Nachfolge zur KI

Nick Lanes Theorie, wie die ersten Zellen entstanden sind: Sein Hauptargument hier ist, dass das Leben kontinuierlich mit der Geochemie des Planeten verbunden ist. Das heißt, viele der Hauptmerkmale von Zellen - Membranen, Enzyme, Energie durch Protonengradienten - stammen von spontanen Prozessen auf der Erde. Aber man kann diese Merkmale nicht stückweise an verschiedenen Orten entwickeln. Man braucht einen Ort, der alle Prozesse beherbergt, die dann zur ersten Zelle führen könnten. Wichtiger Kontext ist übrigens, dass alles Leben von einem einzigen gemeinsamen Vorfahren abstammt - LUCA (letzter universeller gemeinsamer Vorfahre). Okay, welche Umwelt könnte also LUCA hervorbringen? Sie benötigt zwei Hauptmerkmale: - Es gibt einen kontinuierlichen Fluss von Kohlenstoff und Energie (in gewissem Sinne ist alles Leben ein Fluss von Kohlenstoff und Energie, aber man braucht etwas Geochemie, um dieses Ungleichgewicht aufrechtzuerhalten, bevor die ersten Zellen es nutzen können). - Etwas, das die Reaktionen konzentriert und katalysiert, die zu organischen Verbindungen führen (also anorganische Äquivalente von Zellen und Enzymen). Das schließt viele alte Theorien aus: Ein warmer Teich mit Ammoniak und Salzen und dem gelegentlichen Blitz treibt keinen kontinuierlichen Fluss an, noch konzentriert er frühe organische Verbindungen in einem zellähnlichen Volumen, um Reaktionen voranzutreiben. Nick denkt, dass alkalische Meeresquellen eine einzigartige Lösung für diese Herausforderung sind und auch helfen, viel von der kontingenten Biochemie zu erklären, die alles Leben aufgrund unseres gemeinsamen Erbes verwendet hat. Okay, lass uns eintauchen: und zum Kontext, im Grunde versucht Nick hier zu erklären, wie man spontan mit einer frühen Version des umgekehrten Krebszyklus endet. Der umgekehrte Krebszyklus nimmt H2 und CO2 auf und erzeugt organische Moleküle, die die Vorläufer von Fettsäuren, Proteinen und Zuckern sind. Ein weiterer wichtiger Kontext: Alles Leben läuft auf Protonengradienten. Nahrungsmittel mit Sauerstoff (oder anderen Oxidationsmitteln in der anaeroben Atmung) pumpen H+-Ionen über eine Membran, wie das Füllen eines Damms. Diese Ionen fließen durch ATP-Synthase - eine molekulare Turbine - die den Fluss nutzt, um Phosphat an ADP anzuhängen und ATP zu erzeugen. Dein Körper enthält nur 60 Gramm ATP, aber der ATP→ADP→ATP-Zyklus ist so schnell, dass du dein Körpergewicht täglich in ATP verarbeitest. Nebenbei: Wenn eine Lösung sauer ist, bedeutet das, dass viele H+-Ionen darin sind. Und wenn sie basisch (also alkalisch) ist, bedeutet das, dass viele OH--Ionen darin sind. Okay, was geschah also in diesen alkalischen hydrothermalen Quellen? Es gibt 3 Seiten zu diesem Bild: die Innenseite der Quelle, die Wand der Quelle und die Ozeanseite der Quelle. Auf der Innenseite der Quelle rostet im Grunde genommen eisenhaltiges Gestein, was H2 und OH- in den Wasserstrom abgibt (also das Wasser basisch/alkalisch macht). Die Wand besteht aus katalytischen Mineralien wie FeS und hat auch eine Menge winziger Poren, die das Innere mit dem Äußeren verbinden. Und die Ozeanseite hat eine Menge gelöstes CO2 - die frühe Erde war im Grunde ein riesiger Ozean, hatte aber auch viele Vulkane, die viel CO2 abgaben. Und die Ozeane sind auch ziemlich sauer, weil CO2 in Wasser zu Kohlensäure wird. Innerhalb der winzigen Poren in diesen Quellen reagiert H2 mit CO2, um einfache organische Verbindungen wie Formaldehyd (CH2O) und Methanol (CH3OH) zu bilden, angestoßen durch das FeS in den Wänden, das als Katalysator für diese Reaktion wirkt. Remedial-Chemie: Du kannst diesen Absatz gerne überspringen - ich werde ihn nur einfügen, da es einige Mühe gekostet hat, die Chemie aus der Schule wieder zu lernen. Und es war ziemlich befriedigend, es zu verstehen. Warum muss die H2-Seite innen basisch sein? Und warum muss die CO2-Seite außen sauer sein? Mein Verständnis ist, dass in einer alkalischen Lösung H2 -> H+ begünstigt wird, da das OH- (das definitionsgemäß die Lösung alkalisch macht) wirklich mit H+ reagieren möchte, um H2O zu bilden. Aber jetzt hast du einige Zwischen-H+-Ionen, die an anderen Reaktionen beteiligt sein können. Auf der Ozeanseite gilt: Je saurer das Wasser, desto weniger wahrscheinlich wird das marginale CO2, das hinzugefügt wird, in Kohlensäure umgewandelt (da es bereits so viel davon gibt) und wird stattdessen verfügbar sein, um zu reagieren. Jetzt, da du diese frühen organischen Verbindungen in diesen winzigen Poren aufbaust, kannst du diese positive Rückkopplungsschleife starten, in der diese frühen organischen Verbindungen als Vorläufer oder Enzyme fungieren, um immer mehr der Moleküle zu erzeugen, die das Leben nutzt. Du baust Aminosäuren (die Enzyme für andere Reaktionen werden), und Fettsäuren (die spontan Membranen bilden, weil sie hydrophobe Köpfe und hydrophile Schwänze haben), und Zucker, und Peptide, und schließlich DNA und RNA. Claude veranschaulicht: Die Tatsache, dass diese frühe Protozelle keine Protonengradienten selbst erzeugen muss und einfach das geochemische Ungleichgewicht nutzen kann, ist ein großer Vorteil: „Methanogene geben praktisch 98% ihres Energiehaushalts für die Erzeugung von Protonengradienten durch Methanogenese aus und nur etwas mehr als 2% für die Produktion neuer organischer Materie. Mit natürlichen Protonengradienten und durchlässigen Membranen ist kein übermäßiger Energieaufwand erforderlich. Die verfügbare Energie ist genau die gleiche, aber die Kosten werden um mindestens das 40-fache gesenkt, ein sehr erheblicher Vorteil.“ Zusätzlich zum H+-Gradienten, der spontan in diesen Quellen existiert, begannen einige Protocellen auch, Na+-Ionen auszusondern. Und da es keinen natürlichen Gradient dafür gibt, schafft dies einen Anreiz zur Entwicklung von nicht-porösen Membranen (und dafür, dass Proteine auf dieser Membran Protonen nach außen pumpen). Sobald du eine solche Membran entwickelt hast, kannst du diesen Wandhohlraum verlassen und wie eine echte Zelle umherdriften. Impliziert das, dass die Vererbung erst zu diesem Zeitpunkt begann? Denn vorher hast du, denke ich, eine Selektion unter den Poren, aber du hast keine Möglichkeit, Eigenschaften weiterzugeben. Dieser Aufbau von organischen Verbindungen und Stoffwechsel geschieht unabhängig in allen Poren. Dennoch hattest du zu diesem Zeitpunkt bereits DNA und RNA. Was machte diese genetische Information vor der Vererbung? Ich denke, sie organisierte einfach Informationen, um den Aufbau von mehr organischen Verbindungen zu erleichtern? Impliziert das, dass es Millionen von Protocellen gab, die keine gemeinsame Abstammung hatten, jede entwickelte ihre eigenen einzigartigen Versionen aller grundlegenden Biochemie des Lebens? LUCA war nur einer, der DNA, RNA und ATP-Synthase hatte, aber all diese drei könnten wild unterschiedlich gewesen sein, je nachdem, welche Protozellen zuerst aus der Nische herauskamen? Doch die Tatsache, dass diese drei Bausteine in allen Lebensformen betrachtet werden, deutet darauf hin, dass sie einzigartig gut konstruiert sind? Oder vielleicht bedeutet es, dass die Evolution ihre Grundlagen nicht effektiv verbessern kann. So wie Backpropagation das beste Netzwerk finden kann, um eine Funktion abzubilden, aber die GPU, auf der du es trainierst, nicht gleichzeitig umverkabeln kann. Wie auch immer, sobald du diese Protozelle hast, kann sie ‚benachbarte‘ Quellsysteme über den gesamten Ozeanboden ‚infizieren‘. Kontingente Biochemie, die durch diese Theorie erklärt wird: - Warum alles Leben von Protonengradienten angetrieben wird - Warum alle Kohlenstofffixierungswege, egal ob sie in Bakterien, Archaeen oder Eukaryoten sind, Acetyl-CoA als Einstiegspunkt verwenden. Es bildet sich spontan an diesen Quellen, wenn es durch das FeS in den Wänden katalysiert wird. Und im Grunde genommen nutzt alles Leben immer noch dieses Molekül, um Energie zu speichern und andere Moleküle aufzubauen. - Warum viele der Enzyme, die am Energiestoffwechsel beteiligt sind (und speziell am Krebszyklus), immer noch FeS-Mineralien als ihr Rückgrat verwenden - Warum Archaeen und Bakterien (die beiden verschiedenen Reiche der Eukaryoten) sich aufspalteten - anscheinend hat es etwas damit zu tun, wie sie Protonengradienten erzeugen, aber ehrlich gesagt ging die relevante Biochemie über meinen Kopf. Obwohl diese Bifurkation erklären soll, warum alles Leben DNA, RNA und ATP-Synthase teilt, aber nichts anderes: nicht die Zellmembran, noch die Enzyme zur DNA-Replikation, noch die Pumpen zur Exkretion. Anscheinend waren all diese Dinge in die unterschiedlichen Entscheidungen verwickelt, die Archaeen und Bakterien während dieses bifurkierenden Ereignisses getroffen haben. Fragen an Nick: - Ich nehme an, diese Theorie ist inkompatibel mit Panspermie, oder? - Deutet diese Theorie der alkalischen Quellen darauf hin, dass Leben im Universum sehr selten oder sehr häufig sein könnte? In gewissem Sinne deutet es darauf hin, dass es selten sein sollte. Es ist einfach eine sehr spezifische Art von hydrothermaler Quelle mit dem richtigen pH-Gradienten und Porengröße und Haltbarkeit. Aber in einem anderen Sinne ist es einfach eine zufällige verdammte Quelle. Theoretisch könnte es Tausende ähnlicher geologischer Strukturen im Universum geben, die ebenfalls den Fluss von Kohlenstoff und Energie über winzige Membranen antreiben könnten. - Ist ATP-Synthase nicht super kompliziert? Wie hatten die ersten Protocellen ATP-Synthase, aber fast nichts anderes, was ähnlich komplex ist? - Wie hat sich all diese Komplexität vor der Evolution mit Vererbung aufgebaut? Bauen all diese Poren einfach unabhängig ihr eigenes Mikrokosmos einzigartiger organischer Verbindungen auf? Ich nehme an, es ist möglich, dass diese frühen Bausteine von Loch zu Loch treiben, ohne eine vollständig ausgeformte Membran? DNA plus Enzyme treiben von einer Pore zur anderen und lösen mehr Reaktionen aus? Hält Nick Lane das für wahrscheinlich? Wenn nicht, deutet es darauf hin, dass es viele andere ebenso tragfähige Alternativen für die Bausteine gab, als LUCA in der Lage war, auszubrechen? Danke an meine Mitglieder des Buchclubs für sehr nützliche und unterhaltsame Diskussionen: @vinayramasesh, @shae_mcl, @coen_armstrong, @Oskarlso, @_sholtodouglas