Було чудово нарешті зустрітися з командою @codecopenflow, @0xdetweiler та деякими друзями днями ввечері. Після того, як я зміг поговорити особисто, я прояснив свою позицію, що Codec є найпередовішою робототехнічною інфраструктурою в нашій галузі. Те, що вони створюють, — це набір інструментів, якого наразі не існує навіть у web2, і його поява заповнить величезну діру для потоків даних. Мені було б дуже легко залишитися в затишку свого дому і продовжувати регулярно торгувати биками та торгувати. Хоча з технологіями, які вони створюють, це справді шанс опинитися на першому поверсі для найочевиднішого наративу та індустрії, яка з'явиться в 100 разів звідси. Вони володіють технологіями, баченням і безпосереднім внеском від команди Hugging Face LeRobot для перевірки та формування зручності використання свого набору інструментів для реальних випадків використання. Так що ж я роблю? Ми всі добре знаємо, що криптовалюта — це така ж маркетингова та отична гра, як і технологія. Моя увага буде зосереджена на зростанні, позиціонуванні, контенті, маховику, понціноміці, інтерфейсі та тій бризці Shawmakesmagic, яку ми бачили від AI szn. Подумайте про репозиторій Eliza GitHub від Robotics, з дещицею понзіноміки Virtuals і фронтендом, який не вимагає від вас володіння професійним програмістом, щоб навіть зрозуміти, що відбувається. Це питання часу, коли в робототехніці з'явиться момент «chatgpt», і я не думаю, що ми занадто далеко. Той факт, що ми так рано ознайомилися з настільки розробленим продуктом, як він є, + прямим внеском від деяких з найкращих лабораторій робототехніки у світі, є досить божевільним.

Полетів до Дубая, щоб особисто попрацювати з командою $CODEC. Робототехніка буде занадто великим сектором, щоб не йти ва-банк. Вивчіть роботу для своїх сумок.

Важливість хмарного SDK для робототехніки може здатися не кричущою, але він має вирішальне значення для розвитку сектора. Якщо ви працюєте в технічних колах, ви щодня чуєте про хмарні платформи, які рідко розпалюють уяву. Тим не менш, для гуманоїдних роботів і операторів у фізичному світі набір інструментів для хмарного моделювання є основною необхідністю для будь-якого розробника, який намагається масштабувати своє навчання. Точне моделювання віртуального світу є одним із найбільш затребуваних товарів у робототехніці на даний момент. Дослідники проводять нескінченні експерименти, щоб визначити, які комбінації реальних і синтетичних даних дають найбільш точні результати для тренувальних завдань Так, такі компанії, як Tesla, мають величезну перевагу завдяки нейронним мережам, які вони зібрали зі своїх автопарків, хоча ці дані є просто сирою інформацією, поки вони не будуть застосовані на практиці за допомогою реалістичних симуляцій тренувань. Для всіх інших отримати такий рівень даних або навіть апаратне забезпечення для їх живлення просто не варіант, якщо ви не є компанією з величезним фінансуванням. Саме тут на допомогу приходить хмарне моделювання. Перенісши навчання та тестування роботів у хмарні віртуальні середовища, будь-хто може отримати доступ до необхідних обчислень і масштабування. Хмарна платформа може централізовано обмінюватися цими симуляціями, результатами та даними. По суті, ви абстрагуєтеся від закритих дверей, до якого мають доступ ці мільярдні компанії, від широких апаратних компонентів, що використовуються в лабораторіях, і від винесення наборів даних на загальний секрет, де внесок у відкритий вихідний код стає загальним +EV до інновацій. Ця бізнес-модель вже доводить свою ефективність завдяки партнерству LeRobot (ініціатива з відкритим вихідним кодом) від Hugging Face та Nvidia для підключення їхніх фреймворків, щоб дослідники могли обмінюватися моделями, наборами даних та середовищами моделювання в хмарі. Кінцева мета полягає в тому, щоб створити маховик даних, оскільки люди вносять дані моделювання та навчені політики для відкриття репозиторіїв, це прискорює прогрес інших, у свою чергу, генеруючи більш глобально доступні дані. Багато роботи спрямовується на те, щоб скоротити розрив між «сім і реальним». Симулятори часто не відповідали реальності, роботи вивчали поведінку у віртуальному світі, яка не переносилася в реальний світ, тому що фізика або візуальні ефекти були недостатньо точними. Зараз цей розрив швидко скорочується завдяки кращій точності симуляції та гібридним підходам до навчання. Більшість останніх базових моделей у робототехніці (наприклад, Isaac GROOT від NVIDIA та Helix VLA від Figure) використовують архітектуру подвійної системи, яка імітує людське пізнання. Те ж саме стосується і того, як вони тренуються в світових симуляторах. Одна частина моделі тренується на демонстраційних даних людини з реального світу, тоді як інша частина тренується на величезній кількості синтетичних даних, згенерованих за допомогою симуляторів високої точності. Поєднуючи фізичне та симульоване тренування, модель засвоює точні навички, які краще узагальнюють. Реальні дані забезпечують правду в штучному інтелекті, тоді як змодельовані дані забезпечують масштаб і різноманітність, які непрактично зібрати у фізичному світі. Розробники навіть можуть точно налаштовувати або розміщувати моделі поїздів з додатковими реальними або синтетичними даними для конкретних завдань, що робить навчальний конвеєр надзвичайно гнучким. Цифри Helix VLA, яка використовує підхід System 1/System 2, навчається лише на сотнях дистанційно керованих годин (доповнена симуляцією та інтелектуальним маркуванням), Helix може виконувати нові побутові завдання за допомогою природної мови без спеціального кодування. Демонстрація того, як мультимодальні моделі та синтетичні тренування різко скорочують дані. @codecopenflow застосовує той самий принцип з Octo, відкритою VLA, інтегрованою в Optr SDK, що забезпечує сприйняття кількох камер і керування мовою з набагато меншими наборами даних і меншим обсягом обчислень. Світові симуляційні платформи зараз генерують величезні обсяги різноманітних тренувальних даних, які раніше просто були недоступні. Isaac Sim від Nvidia (частина Isaac Lab) може взяти одну демонстрацію завдання людиною та розгорнути її на тисячі змодельованих варіацій за допомогою паралельних хмарних екземплярів. Уявіть, що ви показуєте роботу, як підняти одну коробку в реальності, а потім симулятор створює незліченну кількість сценаріїв з різними коробками, умовами освітлення та невеликими фізичними налаштуваннями, і все це створює досвід навчання, на якому робот може вчитися. Бачення, над яким @unmoyai дуже старанно працює. До того моменту, коли ця навичка була застосована на фізичному роботі, це було доведено в масовій кількості віртуальних випробувань. Поєднання цих багатих синтетичних наборів даних з достатньою кількістю калібрувальних даних у реальному світі дає набагато точніший і витриваліший мозок робота. Саме для цього і позиціонується хмарний SDK Codec, що дозволяє користувачам як отримувати доступ до великих наборів даних з відкритим вихідним кодом, так і робити свій внесок у них (наприклад, взаємодіючи з хабом LeRobot від Hugging Face). Кожна симуляція, проведена в хмарі, може стати новими навчальними даними, які заточують глобальну модель того, як роботи взаємодіють зі світом. Усі матеріали натякають на те, що гуманоїд і роботи загалом наближаються до «моменту App Store». Апаратне забезпечення робота буде марним без бібліотеки навичок. Optr надає уніфікований API, так що автономний агент, який керує веб-додатком, роботом-маніпулятором або симульованим аватаром, використовує одну і ту ж основну структуру і логіку. Ця абстракція динамічна, оскільки розробники можуть створити прототип завдання в ігровому середовищі, схожому на симулятор, а потім розгорнути ту саму логіку на реальному роботі з мінімальними змінами. Будучи хмарним і відкритим, Optr SDK може стати основою для ринку робототехніки. Розробники можуть створити нову навичку, не маючи робота (завдяки хмарній симуляції), безпечно протестувати її у віртуальних середовищах, а потім опублікувати для інших. Ті, кому потрібна ця навичка, наприклад, стартап з робототехніки або людина з домашнім роботом, можуть витягнути її з бібліотеки та запустити на своїх машинах. Такий відкритий ринок і модель стимулювання є запобіжником для економіки розробників робототехніки. Це знижує бар'єр для входу (не потрібне дороге обладнання чи лабораторії через хмарні інструменти), заохочує співпрацю, оскільки внески покращують спільні набори даних і моделі, а також забезпечує фінансову мотивацію для окремих осіб вирішувати вузькоспеціалізовані проблеми. Є багато економічних можливостей маховика, які випливають з цього (які ви можете побачити з нещодавніх партнерств), але я збережу це для окремого запису.