Foi ótimo finalmente conhecer a equipe @codecopenflow, @0xdetweiler e alguns amigos na outra noite. Depois de poder conversar pessoalmente, esclareci minha posição de que o Codec é a infraestrutura de robótica mais avançada do nosso setor. O que eles estão construindo é um kit de ferramentas que atualmente não existe, mesmo na web2, e sua chegada preencherá uma enorme lacuna para fluxos de dados. Teria sido muito fácil para mim ficar no conforto da minha casa e continuar a postar e negociar regularmente. Embora com a tecnologia que eles estão construindo, esta é genuinamente a chance de estar no térreo para a narrativa e a indústria mais óbvias que serão 100x a partir daqui. Eles têm a tecnologia, a visão e a contribuição direta da equipe da Hugging Face LeRobot para validar e moldar a usabilidade de seu kit de ferramentas para casos de uso do mundo real. Então, o que estou fazendo? Estamos todos bem cientes de que a criptografia é tanto um jogo de marketing e ótica quanto de tecnologia. Meu foco será no crescimento, posicionamento, conteúdo, volante, ponzinomics, UI e aquela pitada de Shawmakesmagic que vimos do AI szn. Pense no repositório Eliza GitHub de Robótica, com uma pitada de ponzinômica Virtuals e um front-end que não exige que você seja um programador proficiente para entender o que está acontecendo. É uma questão de tempo até que a robótica tenha seu momento "chatgpt" e não acho que estejamos muito longe. O fato de estarmos tão cedo com um produto tão desenvolvido como é + contribuição direta de alguns dos melhores laboratórios de robótica do mundo é bastante insano.

Voou para Dubai para trabalhar pessoalmente com a equipe $CODEC. A robótica será um setor muito grande para não ir all-in. Estude trabalhando para suas malas.

A importância de um SDK baseado em nuvem para robótica pode não parecer chamativa, mas é absolutamente crucial para o avanço do setor. Se você estiver nos círculos de tecnologia, ouvirá falar de plataformas de nuvem diariamente, que raramente despertam a imaginação. No entanto, para robôs humanóides e operadores no mundo físico, um kit de ferramentas de simulação em nuvem é uma necessidade essencial para qualquer desenvolvedor que tente dimensionar seu treinamento. Simulações precisas de mundo virtual são uma das commodities mais procuradas em robótica no momento. Os pesquisadores estão realizando experimentos intermináveis para determinar quais combinações de dados reais e sintéticos geram os resultados mais precisos para tarefas de treinamento Sim, empresas como a Tesla têm uma grande vantagem graças aos dados de rede neural que coletaram de suas frotas, embora esses dados sejam simplesmente informações brutas até serem colocadas em prática por meio de simulações de treinamento realistas. Para todos os outros, adquirir esse nível de dados ou mesmo o hardware para alimentá-los simplesmente não é uma opção, a menos que você seja uma empresa massivamente financiada. É aqui que entra a simulação em nuvem. Ao mover o treinamento e o teste de robôs para ambientes virtuais baseados em nuvem, qualquer pessoa pode acessar a computação e a escala necessárias. Uma plataforma em nuvem pode centralizar o compartilhamento dessas simulações, resultados e dados. Você está essencialmente abstraindo o acesso a portas fechadas a que essas empresas de bilhões de dólares têm acesso, os extensos componentes de hardware usados em laboratórios e trazendo conjuntos de dados à luz do público, onde as contribuições de código aberto se tornam um +EV geral para a inovação. Esse modelo de negócios já está se provando com a parceria da LeRobot (iniciativa de código aberto) da Hugging Face com a Nvidia para conectar suas estruturas para que os pesquisadores possam compartilhar modelos, conjuntos de dados e ambientes de simulação na nuvem. O objetivo final é criar um volante de dados, à medida que as pessoas contribuem com dados de simulação e políticas treinadas para abrir repositórios, isso acelera o progresso de outros, gerando dados mais acessíveis globalmente. Muito trabalho está sendo canalizado para isso através do fechamento da lacuna "sim para real". Os simuladores muitas vezes ficavam aquém da realidade, os robôs aprendiam comportamentos em um mundo virtual que não eram transferidos para o mundo real, porque a física ou os visuais não eram precisos o suficiente. Essa lacuna agora está diminuindo rapidamente devido à melhor fidelidade de simulação e abordagens de treinamento híbrido. A maioria dos modelos de base mais recentes em robótica (como Isaac GROOT da NVIDIA e Helix VLA da Figure) usa uma arquitetura de sistema duplo que imita a cognição humana. O mesmo se aplica a como eles estão treinando dados em simuladores mundiais. Uma parte do modelo é treinada em dados de demonstração humana do mundo real, enquanto outra parte é treinada em uma enorme quantidade de dados sintéticos gerados por meio de simuladores de alta fidelidade. Ao combinar treinamento físico e simulado, o modelo aprende habilidades precisas que se generalizam melhor. Os dados reais fornecem a verdade na IA, enquanto os dados simulados fornecem a escala e a variedade que são impraticáveis de reunir no mundo físico. Os desenvolvedores podem até mesmo ajustar ou pós-treinar modelos com dados reais ou sintéticos adicionais para tarefas específicas, tornando o pipeline de treinamento extremamente flexível. Figuras O Helix VLA, que usa a abordagem do Sistema 1/Sistema 2, é treinado em apenas centenas de horas teleoperadas (aumentadas por simulação e rotulagem inteligente), o Helix pode lidar com novas tarefas domésticas por meio de linguagem natural sem codificação personalizada. Demonstrando como os modelos multimodais e o treinamento sintético reduzem drasticamente as necessidades de dados. @codecopenflow está aplicando o mesmo princípio com o Octo, um VLA aberto integrado ao seu Optr SDK, permitindo a percepção de várias câmeras e o controle guiado por linguagem com conjuntos de dados muito menores e computação inferior. As plataformas de simulação mundial agora estão gerando grandes volumes de dados de treinamento variados que simplesmente não eram acessíveis antes. O Isaac Sim da Nvidia (parte do Isaac Lab) pode pegar uma única demonstração humana de uma tarefa e transformá-la em milhares de variações simuladas usando instâncias de nuvem paralelas. Imagine mostrar a um robô como pegar uma caixa na realidade e, em seguida, o simulador cria inúmeros cenários com diferentes caixas, condições de iluminação e pequenos ajustes físicos, todos produzindo experiências de treinamento com as quais o robô pode aprender. Uma visão @unmoyai está trabalhando muito duro. No momento em que essa habilidade é implantada em um robô físico, ela foi comprovada em grandes quantidades de testes virtuais. A combinação desses ricos conjuntos de dados sintéticos com dados de calibração do mundo real apenas o suficiente produz cérebros robóticos muito mais precisos e resilientes. É para isso que o SDK em nuvem da Codec está posicionado, permitindo que os usuários extraiam e contribuam com grandes conjuntos de dados de código aberto (por exemplo, fazendo interface com o hub LeRobot da Hugging Face). Cada simulação executada na nuvem pode se tornar novos dados de treinamento que aprimoram um modelo global de como os robôs interagem com o mundo. Todas as peças sugerem que humanóides e robôs em geral estão se aproximando de um "momento App Store". O hardware do robô será inútil sem uma biblioteca de habilidades. O Optr fornece uma API unificada para que um agente autônomo que controla um aplicativo da web, um braço robótico ou um avatar simulado usem a mesma estrutura e lógica principais. Essa abstração é dinâmica, pois os desenvolvedores podem prototipar uma tarefa em um ambiente de simulação de jogo e, em seguida, implantar a mesma lógica em um robô real com alterações mínimas. Por ser baseado em nuvem e aberto, o Optr SDK pode atuar como base para um mercado de robótica. Os desenvolvedores podem criar uma nova habilidade sem possuir um robô (graças ao simulador de nuvem), testá-la com segurança em ambientes virtuais e publicá-la para outras pessoas. Aqueles que precisam da habilidade, como uma startup de robótica ou um indivíduo com um robô doméstico, podem retirá-la da biblioteca e executá-la em suas máquinas. Esse tipo de mercado aberto e modelo de incentivo é o estopim para a economia do desenvolvedor de robótica. Ele reduz a barreira de entrada (não é necessário hardware ou laboratórios caros devido às ferramentas em nuvem), incentiva a colaboração, pois as contribuições melhoram os conjuntos de dados e modelos compartilhados e fornece motivação financeira para os indivíduos resolverem problemas de nicho. Há muitas possibilidades de volante econômico a jusante que surgem disso (que você pode ver em parcerias recentes), mas vou guardar isso para um artigo separado.