Bylo skvělé konečně potkat @codecopenflow tým, @0xdetweiler a nějaké přátele minulou noc. Poté, co jsem mohl mluvit osobně, jsem si ujasnil svůj postoj, že Codec je nejpokročilejší robotická infrastruktura v našem odvětví. To, co budují, je sada nástrojů, která v současné době neexistuje ani ve web2 a její příchod zaplní obrovskou díru pro datové toky. Bylo by pro mě velmi snadné zůstat v pohodlí domova a pokračovat v pravidelném bullpost and trade. I když s technologií, kterou budují, je to skutečně šance být v přízemí pro nejzřejmější příběh a průmysl, který se od této chvíle stonásobně posune. Mají technologii, vizi a přímý vstup od týmu Hugging Face LeRobot, který ověřuje a formuje použitelnost jejich sady nástrojů pro případy použití v reálném světě. Tak co dělám? Všichni si dobře uvědomujeme, že kryptoměny jsou stejně tak marketingovou a optickou hrou jako technologiemi. Zaměřím se na růst, umístění, obsah, setrvačník, ponzinomiku, uživatelské rozhraní a tu špetku Shawmakesmagic, kterou jsme viděli u AI szn. Představte si Eliza GitHub repo robotiky s příměsí Virtuals ponzinomics a frontendem, který nevyžaduje, abyste byli zdatným kodérem, abyste vůbec pochopili, co se děje. Je otázkou času, kdy robotika zažije svůj "chatgpt" moment a nemyslím si, že jsme příliš daleko. Skutečnost, že jsme tak brzy s tak vyvinutým produktem + přímým vstupem z některých z nejlepších robotických laboratoří na světě, je docela šílená.

Odletěl jsem do Dubaje, abych osobně pracoval s týmem $CODEC. Robotika bude příliš velkým odvětvím na to, abychom do ní nešli naplno. Studujte práci pro své tašky.

Důležitost cloudové sady SDK pro robotiku nemusí znít okázale, ale je naprosto zásadní pro pokrok v tomto odvětví. Pokud se pohybujete v technologických kruzích, uslyšíte o cloudových platformách denně, které jen zřídka podnítí představivost. Přesto pro humanoidní roboty a operátory ve fyzickém světě je sada nástrojů pro cloudovou simulaci základní nutností pro každého vývojáře, který se snaží rozšířit své školení. Přesné simulace virtuálního světa jsou v současné době jednou z nejžádanějších komodit v robotice. Výzkumníci provádějí nekonečné experimenty, aby zjistili, které kombinace reálných a syntetických dat generují nejpřesnější výsledky pro tréninkové úkoly Ano, společnosti jako Tesla mají obrovský náskok díky datům neuronových sítí, které shromáždily ze svých vozových parků, i když tato data jsou pouze nezpracovanou informací, dokud nejsou uvedena do praxe prostřednictvím realistických tréninkových simulací. Pro všechny ostatní není získání takové úrovně dat nebo dokonce hardwaru pro jejich napájení možností, pokud nejste masivně financovaná společnost. A právě zde přichází na řadu simulace cloudu. Přesunutím školení a testování robotů do cloudových virtuálních prostředí má kdokoli přístup k potřebným výpočtům a škálování. Cloudová platforma může centralizovat sdílení těchto simulací, výsledků a dat. V podstatě abstrahujete od přístupu za zavřenými dveřmi, ke kterým mají tyto miliardové společnosti přístup, rozsáhlých hardwarových komponent používaných v laboratořích a vynášení datových sad na veřejnost, kde se příspěvky open source stávají celkovým +EV pro inovace. Tento obchodní model se již osvědčil díky partnerství LeRobot (open source) společnosti Hugging Face se společností Nvidia za účelem propojení jejich frameworků, aby výzkumníci mohli sdílet modely, datové sady a simulační prostředí v cloudu. Konečným cílem je vytvořit datový setrvačník, protože lidé přispívají simulačními daty a vyškolenými politikami k otevření repozitářů, urychluje pokrok ostatních a na oplátku generuje globálně dostupná data. Hodně práce se do toho nalévá prostřednictvím zacelení mezery "od simulace ke skutečnému". Simulátory často zaostávaly za realitou, roboti se ve virtuálním světě učili chování, které se nepřeneslo do skutečného světa, protože fyzika nebo vizuální stránka nebyly dostatečně přesné. Tato mezera se nyní rychle uzavírá díky lepší věrnosti simulace a hybridním přístupům k trénování. Většina nejnovějších základních modelů v robotice (jako je Isaac GROOT od NVIDIA a Helix VLA od Figure) používá architekturu duálního systému, která napodobuje lidské poznávání. To samé platí pro to, jak trénují data ve světových simulátorech. Jedna část modelu je trénována na demonstračních datech z reálného světa, zatímco další část je trénována na obrovském množství syntetických dat generovaných pomocí vysoce věrných simulátorů. Kombinací fyzického a simulovaného tréninku se model učí přesné dovednosti, které lze lépe zobecnit. Skutečná data poskytují pravdu v AI, zatímco simulovaná data poskytují rozsah a rozmanitost, které je ve fyzickém světě nepraktické shromažďovat. Vývojáři mohou dokonce vyladit nebo odeslat trénované modely pomocí dalších skutečných nebo syntetických dat pro konkrétní úkoly, díky čemuž je trénovací řetězec extrémně flexibilní. Obrázky Helix VLA, který využívá přístup System 1/System 2, je vyškolen pouze na stovkách dálkově ovládaných hodin (rozšířených o simulaci a inteligentní značení), Helix dokáže zvládnout nové úkoly v domácnosti prostřednictvím přirozeného jazyka bez vlastního kódování. Demonstrace toho, jak multimodální modely a syntetické trénování dramaticky snižují potřeby dat. @codecopenflow uplatňuje stejný princip s Octo, otevřeným VLA integrovaným do sady Optr SDK, která umožňuje vnímání více kamer a ovládání pomocí jazyka s mnohem menšími datovými sadami a nižším výpočetním výkonem. Světové simulační platformy nyní generují obrovské objemy různorodých tréninkových dat, která dříve jednoduše nebyla dostupná. Isaac Sim od Nvidie (součást Isaac Lab) dokáže vzít jedinou lidskou demonstraci úkolu a rozvinout ji do tisíců simulovaných variant pomocí paralelních cloudových instancí. Představte si, že ukážete robotovi, jak ve skutečnosti zvedne jednu krabici, a poté simulátor vytvoří nespočet scénářů s různými krabicemi, světelnými podmínkami a mírnými fyzikálními úpravami, a to vše vytváří tréninkové zkušenosti, ze kterých se robot může učit. Vize@unmoyai na které velmi usilovně pracuje. V době, kdy je tato dovednost nasazena na fyzickém robotu, je prokázána v hromadném množství virtuálních zkoušek. Kombinací těchto bohatých syntetických datových souborů s dostatečným množstvím kalibračních dat v reálném světě vznikají mnohem přesnější a odolnější robotické mozky. To je to, k čemu je cloudová sada SDK společnosti Codec umístěna tím, že umožňuje uživatelům stahovat z velkých datových sad s otevřeným zdrojovým kódem a přispívat do nich (například propojení s centrem LeRobot společnosti Hugging Face). Každá simulace spuštěná v cloudu by se mohla stát novými tréninkovými daty, která zdokonalí globální model toho, jak roboti interagují se světem. Všechny tyto části naznačují, že humanoidi a roboti obecně se blíží k "okamžiku App Store". Robotický hardware bude k ničemu bez knihovny dovedností. Optr poskytuje jednotné API, takže autonomní agent ovládající webovou aplikaci, robotickou paži nebo simulovaného avatara používá stejný základní rámec a logiku. Tato abstrakce je dynamická, protože vývojáři mohou prototypovat úlohu v prostředí podobné simulátoru a poté nasadit stejnou logiku na skutečného robota s minimálními změnami. Díky tomu, že je Optr SDK založena na cloudu a otevřená, může fungovat jako základ pro trh robotiky. Vývojáři mohou vytvořit novou dovednost, aniž by vlastnili robota (díky cloudové sim), bezpečně ji otestovat ve virtuálních prostředích a poté ji publikovat pro ostatní. Ti, kteří tuto dovednost potřebují, jako je robotický startup nebo jednotlivec s domácím robotem, by ji mohli vytáhnout z knihovny a spustit ji na svých počítačích. Tento druh otevřeného trhu a motivačního modelu je rozbuškou pro ekonomiku vývojářů robotiky. Snižuje bariéru vstupu (kvůli cloudovým nástrojům není potřeba žádný drahý hardware ani laboratoře), podporuje spolupráci, protože příspěvky zlepšují sdílené datové sady a modely a poskytuje finanční motivaci jednotlivcům k řešení specializovaných problémů. Existuje mnoho možností ekonomického setrvačníku, které se z toho rodí (což můžete vidět z nedávných partnerství), ale to si nechám na samostatný zápis.