Było świetnie w końcu spotkać zespół @codecopenflow, @0xdetweiler i kilku przyjaciół zeszłej nocy. Po rozmowie osobiście, moja pozycja została wyjaśniona, że Codec to najbardziej zaawansowana infrastruktura robotyki w naszej branży. To, co budują, to zestaw narzędzi, który obecnie nie istnieje nawet w web2, a jego pojawienie się wypełni ogromną lukę w strumieniach danych. Byłoby bardzo łatwo pozostać w komfortowym domu i kontynuować regularne posty i handel. Jednak z technologią, którą budują, to naprawdę szansa, aby być na samym początku najbardziej oczywistej narracji i branży, która wzrośnie 100x od teraz. Mają technologię, wizję i bezpośredni wkład zespołu Hugging Face LeRobot, aby zweryfikować i ukształtować użyteczność ich zestawu narzędzi dla rzeczywistych przypadków użycia. Więc co robię? Wszyscy dobrze wiemy, że kryptowaluty to tak samo gra marketingowa i optyki, jak technologia. Moim celem będzie rozwój, pozycjonowanie, treść, koło zamachowe, ponzinomika, UI i ten szczyptę Shawmakesmagic, który widzieliśmy w AI szn. Pomyśl o repozytorium Eliza GitHub robotyki, z odrobiną ponzinomiki Virtuals i interfejsem, który nie wymaga, abyś był biegłym programistą, aby zrozumieć, co się dzieje. To tylko kwestia czasu, zanim robotyka będzie miała swój moment "chatgpt" i nie sądzę, że jesteśmy zbyt daleko. Fakt, że jesteśmy tak wcześnie z produktem tak rozwiniętym, jakim jest + bezpośredni wkład z niektórych z najlepszych laboratoriów robotyki na świecie, jest dość szalony.

Poleciałem do Dubaju, aby osobiście pracować z zespołem $CODEC. Robotyka będzie zbyt dużym sektorem, aby nie zainwestować w nią w pełni. Ucz się, pracując na swoje torby.

Znaczenie opartego na chmurze SDK dla robotyki może nie brzmieć efektownie, ale jest absolutnie kluczowe dla rozwoju tego sektora. Jeśli jesteś w kręgach technologicznych, codziennie słyszysz o platformach chmurowych, które rzadko pobudzają wyobraźnię. Jednak dla humanoidalnych robotów i operatorów w świecie fizycznym, zestaw narzędzi symulacji w chmurze jest podstawową koniecznością dla każdego dewelopera próbującego skalować swoje szkolenie. Dokładne symulacje wirtualnego świata są obecnie jednymi z najbardziej poszukiwanych towarów w robotyce. Naukowcy przeprowadzają niekończące się eksperymenty, aby określić, które kombinacje danych rzeczywistych i syntetycznych generują najbardziej precyzyjne wyniki dla zadań szkoleniowych. Tak, firmy takie jak Tesla mają ogromną przewagę dzięki danym z sieci neuronowych, które zgromadziły z swoich flot, chociaż te dane są po prostu surowymi informacjami, dopóki nie zostaną wprowadzone w praktykę poprzez realistyczne symulacje szkoleniowe. Dla wszystkich innych, zdobycie tego poziomu danych lub nawet sprzętu do ich obsługi po prostu nie jest opcją, chyba że jesteś firmą z ogromnym finansowaniem. W tym miejscu wkracza symulacja w chmurze. Przenosząc szkolenie i testowanie robotów do opartych na chmurze wirtualnych środowisk, każdy może uzyskać dostęp do potrzebnej mocy obliczeniowej i skalować. Platforma chmurowa może centralizować udostępnianie tych symulacji, wyników i danych. W zasadzie abstrahujesz od zamkniętego dostępu, do którego mają dostęp te miliardowe firmy, rozbudowanych komponentów sprzętowych używanych w laboratoriach i wprowadzasz zbiory danych do publicznego obiegu, gdzie wkłady open source stają się ogólnym +EV dla innowacji. Ten model biznesowy już się sprawdza, gdy inicjatywa open source LeRobot firmy Hugging Face współpracuje z Nvidią, aby połączyć swoje ramy, dzięki czemu badacze mogą dzielić się modelami, zbiorami danych i środowiskami symulacyjnymi w chmurze. Ostatecznym celem jest stworzenie koła danych, ponieważ ludzie przyczyniają się do danych symulacyjnych i wyuczonych polityk do otwartych repozytoriów, przyspiesza to postęp innych, co z kolei generuje więcej globalnie dostępnych danych. Wiele pracy jest wkładane w to poprzez zamykanie luki „symulacja do rzeczywistości”. Symulatory często nie dorównywały rzeczywistości, roboty uczyły się zachowań w wirtualnym świecie, które nie przenosiły się do rzeczywistego świata, ponieważ fizyka lub wizualizacje nie były wystarczająco dokładne. Ta luka teraz szybko się zamyka dzięki lepszej wierności symulacji i hybrydowym podejściom do szkolenia. Większość najnowszych modeli bazowych w robotyce (takich jak NVIDIA Isaac GROOT i Helix VLA firmy Figure) używa architektury podwójnego systemu, która naśladuje ludzką kognicję. To samo dotyczy sposobu, w jaki szkolą dane w symulacjach światowych. Jedna część modelu jest szkolona na danych z demonstracji ludzkich z rzeczywistego świata, podczas gdy druga część jest szkolona na ogromnej ilości danych syntetycznych generowanych przez symulatory o wysokiej wierności. Łącząc fizyczne i symulowane szkolenie, model uczy się dokładnych umiejętności, które lepiej się generalizują. Rzeczywiste dane dostarczają prawdy w AI, podczas gdy dane symulowane zapewniają skalę i różnorodność, które są niepraktyczne do zebrania w świecie fizycznym. Deweloperzy mogą nawet dostosować lub po-szkolić modele z dodatkowymi danymi rzeczywistymi lub syntetycznymi dla konkretnych zadań, co czyni proces szkolenia niezwykle elastycznym. Helix VLA firmy Figure, która korzysta z podejścia System 1/System 2, jest szkolona tylko na setkach godzin teleoperacji (wzbogaconych o symulację i inteligentne etykietowanie), Helix może obsługiwać nowe zadania domowe za pomocą naturalnego języka bez potrzeby kodowania. Demonstrując, jak multimodalne modele i syntetyczne szkolenie drastycznie zmniejszają potrzeby danych. @codecopenflow stosuje tę samą zasadę z Octo, otwartym VLA zintegrowanym z jego SDK Optr, umożliwiającym percepcję z wielu kamer i kontrolę kierowaną językiem przy znacznie mniejszych zbiorach danych i niższej mocy obliczeniowej. Platformy symulacji świata generują teraz ogromne ilości zróżnicowanych danych szkoleniowych, które wcześniej były po prostu niedostępne. Isaac Sim Nvidii (część Isaac Lab) może wziąć pojedynczą demonstrację ludzką zadania i przekształcić ją w tysiące symulowanych wariacji, korzystając z równoległych instancji w chmurze. Wyobraź sobie pokazanie robotowi, jak podnieść jedną skrzynkę w rzeczywistości, a następnie symulator tworzy niezliczone scenariusze z różnymi skrzynkami, warunkami oświetleniowymi i drobnymi poprawkami fizyki, wszystkie produkując doświadczenia szkoleniowe, z których robot może się uczyć. Wizja, nad którą @unmoyai ciężko pracuje. W momencie, gdy ta umiejętność jest wdrażana na fizycznym robocie, została udowodniona w masowych ilościach wirtualnych prób. Łączenie tych bogatych syntetycznych zbiorów danych z wystarczającą ilością danych kalibracyjnych z rzeczywistego świata produkuje znacznie dokładniejsze i bardziej odporne mózgi robotów. To jest to, do czego jest skierowane SDK w chmurze Codec, pozwalając użytkownikom zarówno korzystać z, jak i przyczyniać się do dużych zbiorów danych open source (na przykład, interfejsując z hubem LeRobot firmy Hugging Face). Każda symulacja uruchomiona w chmurze może stać się nowymi danymi szkoleniowymi, które ostrzą globalny model tego, jak roboty wchodzą w interakcje ze światem. Wszystkie elementy sugerują, że humanoidalne roboty i roboty ogólnie zbliżają się do „momentu App Store”. Sprzęt robotyczny będzie bezużyteczny bez biblioteki umiejętności. Optr zapewnia zunifikowane API, aby autonomiczny agent kontrolujący aplikację internetową, ramię robota lub symulowanego awatara mógł korzystać z tej samej podstawowej struktury i logiki. Ta abstrakcja jest dynamiczna, ponieważ deweloperzy mogą prototypować zadanie w środowisku symulacyjnym przypominającym grę, a następnie wdrożyć tę samą logikę do rzeczywistego robota z minimalnymi zmianami. Dzięki temu, że jest oparty na chmurze i otwarty, SDK Optr może działać jako fundament dla rynku robotyki. Deweloperzy mogą stworzyć nową umiejętność bez posiadania robota (dzięki symulacji w chmurze), przetestować ją bezpiecznie w wirtualnych środowiskach, a następnie opublikować ją dla innych. Ci, którzy potrzebują tej umiejętności, jak startup robotyczny lub osoba z robotem domowym, mogą ją pobrać z biblioteki i uruchomić na swoich maszynach. Tego rodzaju otwarty rynek i model zachęt to zapalnik dla gospodarki deweloperów robotyki. Obniża barierę wejścia (nie są potrzebne drogie sprzęty ani laboratoria dzięki narzędziom chmurowym), zachęca do współpracy, ponieważ wkłady poprawiają wspólne zbiory danych i modele oraz zapewnia motywację finansową dla osób rozwiązujących niszowe problemy. Istnieje wiele możliwości ekonomicznych, które mogą wyniknąć z tego (co można zobaczyć w ostatnich partnerstwach), ale to zostawię na osobny artykuł.