Det var fantastiskt att äntligen få träffa @codecopenflow teamet, @0xdetweiler och några vänner häromkvällen. Efter att ha kunnat prata personligen har det klargjorts min ståndpunkt att Codec är den mest avancerade robotinfrastrukturen i vår bransch. Vad de bygger är en verktygslåda som för närvarande inte finns ens i web2 och dess ankomst kommer att fylla ett enormt hål för dataströmmar. Det skulle ha varit väldigt enkelt för mig att stanna i bekvämligheten av mitt hem och fortsätta att regelbundet tjurposta och handla. Men med den teknik de bygger är det här verkligen chansen att vara på bottenvåningen för den mest uppenbara berättelsen och branschen som kommer 100 gånger härifrån. De har tekniken, visionen och direkt input från Hugging Face LeRobot-teamet för att validera och forma användbarheten av deras verktygslåda för verkliga användningsfall. Så vad gör jag? Vi är alla väl medvetna om att krypto är lika mycket ett marknadsförings- och optikspel som det är teknik. Mitt fokus kommer att ligga på tillväxten, positioneringen, innehållet, svänghjulet, ponzinomics, UI och det stänk av Shawmakesmagic som vi såg från AI szn. Tänk Eliza GitHub repo of Robotics, med en skvätt Virtuals ponzinomics och en frontend som inte kräver att du är en skicklig kodare för att ens förstå vad som händer. Det är bara en tidsfråga innan robotiken får sitt "chatgpt"-ögonblick och jag tror inte att vi är alltför långt borta. Det faktum att vi är så tidiga med en produkt som är så utvecklad som den är + direkt input från några av de bästa robotlaboratorierna i världen är ganska vansinnigt.

Flög till Dubai för att personligen arbeta med $CODEC-teamet. Robotteknik kommer att bli en för stor sektor för att inte gå all in. Studera arbeta för dina väskor.

Vikten av ett molnbaserat SDK för robotik kanske inte låter flashigt, men det är helt avgörande för att utveckla sektorn. Om du är i tekniska kretsar kommer du att höra om molnplattformar dagligen, vilket sällan väcker fantasin. Men för humanoida robotar och operatörer i den fysiska världen är ett verktyg för molnsimulering en grundläggande nödvändighet för alla utvecklare som försöker skala upp sin utbildning. Exakta simuleringar av virtuella världar är en av de mest eftertraktade varorna inom robotik just nu. Forskare kör oändliga experiment för att avgöra vilka kombinationer av verkliga och syntetiska data som genererar de mest exakta resultaten för träningsuppgifter Ja, företag som Tesla har ett enormt försprång tack vare de neurala nätverksdata som de har samlat in från sina flottor, även om dessa data helt enkelt är rå information tills den omsätts i praktiken genom realistiska träningssimuleringar. För alla andra är det helt enkelt inte ett alternativ att skaffa den nivån av data eller till och med hårdvaran för att driva den om du inte är ett massivt finansierat företag. Det är här molnsimulering kommer in. Genom att flytta robotträning och testning till molnbaserade virtuella miljöer kan vem som helst få tillgång till den beräkning och skalning som behövs. En molnplattform kan centralisera delningen av dessa simuleringar, resultat och data. Du abstraherar i huvudsak bort den stängda dörren som dessa miljarddollarföretag har tillgång till, de omfattande hårdvarukomponenterna som används i laboratorier och att föra fram datamängder i allmänhetens ljus där bidrag till öppen källkod blir en övergripande +EV till innovation. Denna affärsmodell har redan bevisat sig med Hugging Face's LeRobot (open source initiative) som samarbetar med Nvidia för att koppla ihop sina ramverk så att forskare kan dela modeller, dataset och simuleringsmiljöer i molnet. Slutmålet är att skapa ett svänghjul för data, eftersom människor bidrar med simuleringsdata och tränade policyer för att öppna lagringsplatser, påskyndar det andras framsteg och genererar i sin tur mer globalt tillgängliga data. Mycket arbete läggs ner på detta genom att överbrygga klyftan mellan "sim och riktigt". Simulatorer nådde ofta inte upp till verkligheten, robotar lärde sig beteenden i en virtuell värld som inte överfördes till den verkliga världen, eftersom fysiken eller det visuella inte var tillräckligt exakt. Det gapet minskar nu snabbt tack vare bättre simuleringsåtergivning och hybridträningsmetoder. De flesta av de senaste grundmodellerna inom robotik (som NVIDIA:s Isaac GROOT och Figures Helix VLA) använder en dubbel systemarkitektur som efterliknar mänsklig kognition. Samma sak gäller för hur de tränar data i världssimuleringar. En del av modellen är tränad på mänskliga demonstrationsdata från den verkliga världen, medan en annan del är tränad på en enorm mängd syntetisk data som genereras via högupplösta simulatorer. Genom att kombinera fysisk och simulerad träning lär sig modellen exakta färdigheter som generaliseras bättre. Verkliga data ger sanning i AI, medan simulerade data ger den skala och variation som är opraktisk att samla in i den fysiska världen. Utvecklare kan till och med finjustera eller publicera träningsmodeller med ytterligare verkliga eller syntetiska data för specifika uppgifter, vilket gör träningspipelinen extremt flexibel. Siffror Helix VLA, som använder System 1/System 2-metoden, tränas på endast hundratals fjärrstyrda timmar (förstärkt med simulering och smart märkning), Helix kan hantera nya hushållsuppgifter genom naturligt språk utan anpassad kodning. Demonstrera hur multimodala modeller och syntetisk träning minskar databehoven dramatiskt. @codecopenflow tillämpar samma princip med Octo, en öppen VLA som är integrerad i Optr SDK, vilket möjliggör flerkameraperception och språkstyrd kontroll med mycket mindre datamängder och lägre beräkning. Världssimuleringsplattformar genererar nu enorma mängder varierade träningsdata som helt enkelt inte var tillgängliga tidigare. Nvidias Isaac Sim (en del av Isaac Lab) kan ta en enda mänsklig demonstration av en uppgift och snurra upp den till tusentals simulerade varianter med hjälp av parallella molninstanser. Föreställ dig att du visar en robot hur man plockar upp en låda i verkligheten och sedan skapar simulatorn otaliga scenarier med olika lådor, ljusförhållanden och små fysikjusteringar som alla ger träningserfarenheter som roboten kan lära sig av. En vision @unmoyai jobbar stenhårt mot. När den färdigheten används på en fysisk robot har den bevisats i stora mängder virtuella försök. Genom att kombinera dessa omfattande syntetiska datamängder med precis tillräckligt med kalibreringsdata från den verkliga världen får man fram mycket mer exakta och motståndskraftiga robothjärnor. Detta är vad Codecs moln-SDK är positionerat för genom att låta användare både hämta från och bidra till stora datamängder med öppen källkod (till exempel gränssnitt med Hugging Face's LeRobot-hubb). Varje simulering som körs i molnet kan bli nya träningsdata som vässar en global modell av hur robotar interagerar med världen. Alla delar tyder på att humanoider och robotar i allmänhet närmar sig ett "App Store-ögonblick". Robothårdvara kommer att vara värdelös utan ett bibliotek med färdigheter. Optr tillhandahåller ett enhetligt API så att en autonom agent som styr en webbapp, en robotarm eller en simulerad avatar alla använder samma kärnramverk och logik. Denna abstraktion är dynamisk, eftersom utvecklare kan skapa en prototyp av en uppgift i en spelliknande simuleringsmiljö och sedan distribuera samma logik till en riktig robot med minimala ändringar. Genom att vara molnbaserad och öppen kan Optr SDK fungera som grunden för en marknadsplats för robotik. Utvecklare kan bygga en ny färdighet utan att äga en robot (tack vare molnsim), testa den säkert i virtuella miljöer och sedan publicera den för andra. De som behöver färdigheten, som en robotstartup eller en person med en hemrobot, kan dra den från biblioteket och köra den på sina datorer. Den här typen av öppen marknadsplats och incitamentsmodell är säkringen för robotutvecklarens ekonomi. Det sänker inträdesbarriären (ingen dyr hårdvara eller labb behövs på grund av molnverktyg), det uppmuntrar samarbete eftersom bidrag förbättrar de delade datamängderna och modellerna och ger ekonomisk motivation för individer att lösa nischproblem. Det finns många nedströms ekonomiska svänghjulsmöjligheter som uppstår från detta (som du kan se från de senaste partnerskapen) men jag sparar det till en separat skrivning.