C'était génial de enfin rencontrer l'équipe de @codecopenflow, @0xdetweiler et quelques amis l'autre soir. Après avoir pu parler en personne, cela a clarifié ma position selon laquelle Codec est l'infrastructure de robotique la plus avancée de notre secteur. Ce qu'ils construisent est une boîte à outils qui n'existe actuellement même pas dans le web2 et son arrivée comblera un énorme vide pour les flux de données. Il aurait été très facile pour moi de rester dans le confort de ma maison et de continuer à poster régulièrement des messages optimistes et à trader. Cependant, avec la technologie qu'ils développent, c'est vraiment l'occasion d'être au tout début de la narration et de l'industrie les plus évidentes qui vont multiplier par 100 d'ici. Ils ont la technologie, la vision et des retours directs de l'équipe LeRobot de Hugging Face pour valider et façonner l'utilisabilité de leur boîte à outils pour des cas d'utilisation dans le monde réel. Alors, que fais-je ? Nous sommes tous bien conscients que la crypto est autant un jeu de marketing et d'optique qu'une question de technologie. Mon objectif va être sur la croissance, le positionnement, le contenu, le flywheel, les ponzinomics, l'interface utilisateur et cette touche de Shawmakesmagic que nous avons vue lors de la saison AI. Pensez au dépôt GitHub d'Eliza sur la robotique, avec une touche de ponzinomics virtuels et une interface qui ne nécessite pas d'être un codeur compétent pour même comprendre ce qui se passe. C'est une question de temps avant que la robotique ait son moment "chatgpt" et je ne pense pas que nous soyons trop loin. Le fait que nous soyons si tôt avec un produit aussi développé que celui-ci + des retours directs de certains des meilleurs laboratoires de robotique au monde est assez fou.

Je suis allé à Dubaï pour travailler en personne avec l'équipe $CODEC. La robotique va devenir un secteur trop important pour ne pas s'y investir pleinement. Étudiez pour travailler pour vos investissements.

L'importance d'un SDK basé sur le cloud pour la robotique peut ne pas sembler flamboyante, mais elle est absolument cruciale pour faire avancer le secteur. Si vous êtes dans des cercles technologiques, vous entendrez parler des plateformes cloud quotidiennement, ce qui suscite rarement l'imagination. Pourtant, pour les robots humanoïdes et les opérateurs dans le monde physique, un kit d'outils de simulation cloud est une nécessité fondamentale pour tout développeur cherchant à faire évoluer sa formation. Des simulations précises du monde virtuel sont l'une des marchandises les plus recherchées dans la robotique en ce moment. Les chercheurs mènent d'innombrables expériences pour déterminer quelles combinaisons de données réelles et synthétiques génèrent les résultats les plus précis pour les tâches de formation. Oui, des entreprises comme Tesla ont un énorme avantage grâce aux données de réseau neuronal qu'elles ont collectées auprès de leurs flottes, bien que ces données ne soient que des informations brutes jusqu'à ce qu'elles soient mises en pratique à travers des simulations de formation réalistes. Pour tout le monde, acquérir ce niveau de données ou même le matériel pour le faire n'est tout simplement pas une option à moins d'être une entreprise massivement financée. C'est là que la simulation cloud entre en jeu. En déplaçant la formation et les tests des robots dans des environnements virtuels basés sur le cloud, n'importe qui peut accéder à la puissance de calcul nécessaire et à l'échelle. Une plateforme cloud peut centraliser le partage de ces simulations, résultats et données. Vous abstraisez essentiellement l'accès fermé dont disposent ces entreprises milliardaires, les composants matériels étendus utilisés dans les laboratoires et amenez les ensembles de données à la lumière publique où les contributions open source deviennent un +EV global pour l'innovation. Ce modèle commercial prouve déjà son efficacité avec l'initiative open source LeRobot de Hugging Face qui s'associe à Nvidia pour connecter leurs frameworks afin que les chercheurs puissent partager des modèles, des ensembles de données et des environnements de simulation sur le cloud. L'objectif final est de créer un flywheel de données, car les gens contribuent des données de simulation et des politiques entraînées à des dépôts ouverts, cela accélère les progrès des autres, générant à son tour plus de données accessibles au niveau mondial. Beaucoup de travail est consacré à cela en fermant l'écart "sim to real". Les simulateurs ont souvent échoué à reproduire la réalité, les robots apprenaient des comportements dans un monde virtuel qui ne se transféraient pas dans le monde réel, car la physique ou les visuels n'étaient pas assez précis. Cet écart se réduit maintenant rapidement grâce à une meilleure fidélité de simulation et à des approches de formation hybrides. La plupart des derniers modèles fondamentaux en robotique (comme Isaac GROOT de NVIDIA et Helix VLA de Figure) utilisent une architecture à double système qui imite la cognition humaine. Il en va de même pour la façon dont ils entraînent les données dans les simulations mondiales. Une partie du modèle est entraînée sur des données de démonstration humaine du monde réel, tandis qu'une autre partie est entraînée sur une énorme quantité de données synthétiques générées via des simulateurs de haute fidélité. En combinant la formation physique et simulée, le modèle apprend des compétences précises qui se généralisent mieux. Les données réelles fournissent la vérité en IA, tandis que les données simulées offrent l'échelle et la variété qu'il est impraticable de rassembler dans le monde physique. Les développeurs peuvent même affiner ou post-entraîner des modèles avec des données réelles ou synthétiques supplémentaires pour des tâches spécifiques, rendant le pipeline de formation extrêmement flexible. Helix VLA de Figures, qui utilise l'approche Système 1/Système 2, est entraîné sur seulement des centaines d'heures téléopérées (augmentées par la simulation et le marquage intelligent), Helix peut gérer de nouvelles tâches ménagères par le biais du langage naturel sans codage personnalisé. Cela démontre comment les modèles multimodaux et la formation synthétique réduisent considérablement les besoins en données. @codecopenflow applique le même principe avec Octo, un VLA ouvert intégré dans son SDK Optr, permettant une perception multi-caméras et un contrôle guidé par le langage avec des ensembles de données beaucoup plus petits et un calcul réduit. Les plateformes de simulation mondiale génèrent maintenant d'énormes volumes de données d'entraînement variées qui n'étaient tout simplement pas accessibles auparavant. Isaac Sim de Nvidia (partie d'Isaac Lab) peut prendre une seule démonstration humaine d'une tâche et la transformer en milliers de variations simulées en utilisant des instances cloud parallèles. Imaginez montrer à un robot comment ramasser une boîte dans la réalité, puis le simulateur crée d'innombrables scénarios avec différentes boîtes, conditions d'éclairage et légers ajustements physiques, produisant tous des expériences d'entraînement dont le robot peut apprendre. Une vision sur laquelle @unmoyai travaille très dur. Au moment où cette compétence est déployée sur un robot physique, elle a été prouvée en masse à travers des essais virtuels. En combinant ces riches ensembles de données synthétiques avec juste assez de données de calibration du monde réel, on produit des cerveaux de robot beaucoup plus précis et résilients. C'est pour cela que le SDK cloud de Codec est positionné, en permettant aux utilisateurs de puiser dans et de contribuer à de grands ensembles de données open source (par exemple, en s'interfaçant avec le hub LeRobot de Hugging Face). Chaque exécution de simulation dans le cloud pourrait devenir de nouvelles données d'entraînement qui affinent un modèle global de la façon dont les robots interagissent avec le monde. Tous les éléments suggèrent que les robots humanoïdes et les robots en général approchent d'un "moment App Store". Le matériel robotique sera inutile sans une bibliothèque de compétences. Optr fournit une API unifiée afin qu'un agent autonome contrôlant une application web, un bras robotique ou un avatar simulé utilise tous le même cadre et la même logique de base. Cette abstraction est dynamique, car les développeurs pourraient prototyper une tâche dans un environnement de simulation de type jeu, puis déployer la même logique sur un vrai robot avec des changements minimes. En étant basé sur le cloud et ouvert, le SDK Optr peut servir de fondation pour un marché de la robotique. Les développeurs peuvent créer une nouvelle compétence sans posséder de robot (grâce à la simulation cloud), la tester en toute sécurité dans des environnements virtuels, puis la publier pour les autres. Ceux qui ont besoin de la compétence, comme une startup en robotique ou un particulier avec un robot domestique, pourraient la tirer de la bibliothèque et l'exécuter sur leurs machines. Ce type de marché ouvert et de modèle d'incitation est la clé de l'économie des développeurs en robotique. Il abaisse la barrière à l'entrée (aucun matériel ou laboratoire coûteux nécessaire grâce aux outils cloud), encourage la collaboration puisque les contributions améliorent les ensembles de données et les modèles partagés et fournit une motivation financière aux individus pour résoudre des problèmes de niche. Il existe de nombreuses possibilités de flywheel économique en aval qui découlent de cela (ce que vous pouvez voir à partir de partenariats récents), mais je vais garder cela pour un article séparé.