Het was geweldig om eindelijk het @codecopenflow team, @0xdetweiler en enkele vrienden de andere avond te ontmoeten. Na het persoonlijk kunnen praten, is mijn positie verduidelijkt dat Codec de meest geavanceerde Robotics-infrastructuur in onze industrie is. Wat ze bouwen is een toolkit die momenteel niet bestaat, zelfs niet in web2, en de komst ervan zal een enorme leemte vullen voor datastromen. Het zou heel gemakkelijk voor mij zijn geweest om in het comfort van mijn huis te blijven en regelmatig bull posts te plaatsen en te handelen. Maar met de technologie die ze bouwen, is dit oprecht de kans om op de grondvloer te staan voor het meest voor de hand liggende verhaal en de industrie die hier 100x zal groeien. Ze hebben de technologie, de visie en directe input van het Hugging Face LeRobot-team om de bruikbaarheid van hun toolkit voor echte wereldtoepassingen te valideren en vorm te geven. Dus wat doe ik? We zijn ons er allemaal van bewust dat crypto net zo goed een marketing- en optics-spel is als het technologie is. Mijn focus zal liggen op de groei, positionering, content, flywheel, ponzinomics, UI en die sprankel van Shawmakesmagic die we zagen van AI szn. Denk aan de Eliza GitHub-repo van Robotics, met een vleugje Virtuals ponzinomics en een front-end die je niet hoeft te zijn een bekwame coder om te begrijpen wat er aan de hand is. Het is een kwestie van tijd voordat robotics zijn "chatgpt" moment heeft en ik denk niet dat we nog ver weg zijn. Het feit dat we zo vroeg zijn met een product dat zo ontwikkeld is + directe input van enkele van de beste Robotics-laboratoria ter wereld is behoorlijk insane.

Vloog naar Dubai om persoonlijk met het $CODEC-team te werken. Robotica wordt een te grote sector om er niet volledig op in te zetten. Bestudeer hoe je voor je bags kunt werken.

Het belang van een cloud-gebaseerde SDK voor robotica klinkt misschien niet opwindend, maar het is absoluut cruciaal voor de vooruitgang van de sector. Als je in technische kringen verkeert, hoor je dagelijks over cloudplatforms, die zelden de verbeelding prikkelen. Toch is een cloud-simulatie toolkit een kernbehoefte voor humanoïde robots en operators in de fysieke wereld, voor elke ontwikkelaar die zijn training wil opschalen. Nauwkeurige virtuele wereldsimulaties zijn momenteel een van de meest gewilde goederen in de robotica. Onderzoekers voeren eindeloze experimenten uit om te bepalen welke combinaties van echte en synthetische gegevens de meest nauwkeurige resultaten opleveren voor trainingsopdrachten. Ja, bedrijven zoals Tesla hebben een enorme voorsprong dankzij de neurale netwerkgegevens die ze van hun vloot hebben verzameld, hoewel deze gegevens gewoon ruwe informatie zijn totdat ze in de praktijk worden gebracht via realistische trainingssimulaties. Voor iedereen die niet zo'n niveau van gegevens kan verwerven of zelfs de hardware om het te ondersteunen, is dat gewoon geen optie, tenzij je een enorm gefinancierd bedrijf bent. Hier komt cloud-simulatie om de hoek kijken. Door robottraining en -testen naar cloud-gebaseerde virtuele omgevingen te verplaatsen, kan iedereen de benodigde rekenkracht en schaal toegankelijk maken. Een cloudplatform kan de deling van die simulaties, resultaten en gegevens centraliseren. Je abstracteert in wezen de gesloten toegang die deze miljardenbedrijven hebben, de uitgebreide hardwarecomponenten die in laboratoria worden gebruikt, en brengt datasets in het publieke domein waar open source bijdragen een algehele +EV voor innovatie worden. Dit businessmodel bewijst zich al met Hugging Face's LeRobot (open source-initiatief) dat samenwerkt met Nvidia om hun frameworks te verbinden, zodat onderzoekers modellen, datasets en simulatieomgevingen in de cloud kunnen delen. Het einddoel is om een gegevensflywheel te creëren; naarmate mensen simulatiegegevens en getrainde beleidslijnen bijdragen aan open repos, versnelt dit de vooruitgang van anderen, wat op zijn beurt meer wereldwijd toegankelijke gegevens genereert. Er wordt veel werk in deze richting gestoken door de "sim naar echt" kloof te dichten. Simulators voldeden vaak niet aan de realiteit; robots leerden gedragingen in een virtuele wereld die niet overgedragen konden worden naar de echte wereld, omdat de fysica of visuals niet nauwkeurig genoeg waren. Die kloof sluit nu snel door betere simulatiefideliteit en hybride trainingsbenaderingen. De meeste van de nieuwste fundamentmodellen in de robotica (zoals NVIDIA's Isaac GROOT en Figure's Helix VLA) gebruiken een duale systeemarchitectuur die menselijke cognitie nabootst. Hetzelfde geldt voor hoe ze gegevens trainen in wereldsimulaties. Een deel van het model wordt getraind op menselijke demonstratiegegevens uit de echte wereld, terwijl een ander deel wordt getraind op een enorme hoeveelheid synthetische gegevens die zijn gegenereerd via hoogwaardige simulators. Door fysieke en gesimuleerde training te combineren, leert het model nauwkeurige vaardigheden die beter generaliseren. Echte gegevens bieden waarheid in AI, terwijl gesimuleerde gegevens de schaal en variëteit bieden die onpraktisch zijn om in de fysieke wereld te verzamelen. Ontwikkelaars kunnen modellen zelfs fijn afstemmen of post-trainen met aanvullende echte of synthetische gegevens voor specifieke taken, waardoor de trainingspipeline extreem flexibel wordt. Figures Helix VLA, dat gebruikmaakt van de System 1/System 2-benadering, is getraind op slechts honderden teleoperatie-uren (versterkt door simulatie en slimme labeling); Helix kan nieuwe huishoudelijke taken aan via natuurlijke taal zonder aangepaste codering. Dit toont aan hoe multimodale modellen en synthetische training de gegevensbehoeften dramatisch verminderen. @codecopenflow past hetzelfde principe toe met Octo, een open VLA geïntegreerd in zijn Optr SDK, waarmee multi-camera perceptie en taalgedelegeerde controle mogelijk is met veel kleinere datasets en lagere rekenkracht. Wereldsimulatieplatforms genereren nu enorme volumes van gevarieerde trainingsgegevens die simpelweg niet eerder toegankelijk waren. Nvidia's Isaac Sim (onderdeel van Isaac Lab) kan een enkele menselijke demonstratie van een taak nemen en deze omzetten in duizenden gesimuleerde variaties met behulp van parallelle cloudinstanties. Stel je voor dat je een robot laat zien hoe je één doos in de werkelijkheid oppakt en de simulator vervolgens talloze scenario's creëert met verschillende dozen, lichtomstandigheden en kleine fysica-aanpassingen, die allemaal trainingservaringen opleveren waar de robot van kan leren. Een visie waar @unmoyai hard aan werkt. Tegen de tijd dat die vaardigheid op een fysieke robot wordt ingezet, is deze bewezen in massale hoeveelheden virtuele proeven. Door deze rijke synthetische datasets te combineren met net genoeg gegevens voor kalibratie in de echte wereld, ontstaan veel nauwkeurigere en veerkrachtigere robotbreinen. Dit is waar Codec's cloud SDK voor is gepositioneerd, door gebruikers zowel toegang te geven tot als bij te dragen aan grote open source datasets (bijvoorbeeld door interfacing met Hugging Face's LeRobot-hub). Elke simulatie die in de cloud wordt uitgevoerd, kan nieuwe trainingsgegevens worden die een globaal model verfijnen van hoe robots met de wereld omgaan. Alle stukjes wijzen erop dat humanoïde robots en robots in het algemeen een "App Store-moment" naderen. Robothardware zal nutteloos zijn zonder een bibliotheek van vaardigheden. Optr biedt een uniforme API zodat een autonome agent die een webapp, een robotarm of een gesimuleerde avatar bestuurt, allemaal dezelfde kernstructuur en logica gebruikt. Deze abstractie is dynamisch, aangezien ontwikkelaars een taak in een game-achtige sim-omgeving kunnen prototypen en vervolgens dezelfde logica met minimale wijzigingen naar een echte robot kunnen implementeren. Door cloud-gebaseerd en open te zijn, kan de Optr SDK fungeren als de basis voor een robotica-marktplaats. Ontwikkelaars kunnen een nieuwe vaardigheid bouwen zonder een robot te bezitten (dankzij cloud-simulatie), deze veilig testen in virtuele omgevingen en deze vervolgens publiceren voor anderen. Degenen die de vaardigheid nodig hebben, zoals een robotstart-up of een individu met een thuisrobot, kunnen deze uit de bibliotheek halen en op hun machines uitvoeren. Dit soort open marktplaats en incentive-model is de ontsteking voor de robotica-ontwikkelaars economie. Het verlaagt de toetredingsdrempel (geen dure hardware of laboratoria nodig door cloudtools), het moedigt samenwerking aan, aangezien bijdragen de gedeelde datasets en modellen verbeteren, en biedt financiële motivatie voor individuen om nicheproblemen op te lossen. Er zijn veel downstream economische flywheel mogelijkheden die hieruit voortkomen (wat je kunt zien aan recente partnerschappen), maar ik bewaar dat voor een aparte schrijfopdracht.