Foi ótimo finalmente conhecer a equipe do @codecopenflow, @0xdetweiler e alguns amigos na outra noite. Depois de poder conversar pessoalmente, ficou claro para mim que a Codec é a infraestrutura de Robótica mais avançada da nossa indústria. O que eles estão construindo é um conjunto de ferramentas que atualmente não existe nem mesmo no web2 e sua chegada preencherá uma enorme lacuna para fluxos de dados. Ter sido muito fácil para mim ficar no conforto da minha casa e continuar a postar e negociar regularmente. Embora com a tecnologia que eles estão construindo, esta é genuinamente a chance de estar no andar de baixo para a narrativa e a indústria mais óbvias que vão 100x a partir daqui. Eles têm a tecnologia, a visão e a contribuição direta da equipe LeRobot da Hugging Face para validar e moldar a usabilidade de seu conjunto de ferramentas para casos de uso do mundo real. Então, o que estou fazendo? Todos nós sabemos que a cripto é tanto um jogo de marketing e ótica quanto de tecnologia. Meu foco será no crescimento, posicionamento, conteúdo, flywheel, ponzinomics, UI e aquele toque de Shawmakesmagic que vimos na temporada de AI. Pense no repositório Eliza GitHub de Robótica, com um toque de ponzinomics Virtuais e uma interface que não exige que você seja um programador proficiente para entender o que está acontecendo. É uma questão de tempo até que a robótica tenha seu momento "chatgpt" e não acho que estamos muito longe. O fato de estarmos tão cedo com um produto tão desenvolvido como está + a contribuição direta de alguns dos melhores laboratórios de Robótica do mundo é bastante insano.

Voei para Dubai para trabalhar com a equipe do $CODEC pessoalmente. A robótica vai ser um setor grande demais para não se investir totalmente. Estude para trabalhar pelos seus investimentos.

A importância de um SDK baseado em nuvem para robótica pode não parecer chamativa, mas é absolutamente crucial para o avanço do setor. Se você está em círculos tecnológicos, ouvirá sobre plataformas em nuvem diariamente, que raramente despertam a imaginação. No entanto, para robôs humanoides e operadores no mundo físico, um kit de ferramentas de simulação em nuvem é uma necessidade central para qualquer desenvolvedor que tenta escalar seu treinamento. Simulações precisas de mundos virtuais são uma das commodities mais procuradas na robótica atualmente. Pesquisadores estão realizando experimentos intermináveis para determinar quais combinações de dados reais e sintéticos geram os resultados mais precisos para tarefas de treinamento. Sim, empresas como a Tesla têm uma enorme vantagem inicial graças aos dados de redes neurais que coletaram de suas frotas, embora esses dados sejam simplesmente informações brutas até serem colocados em prática por meio de simulações de treinamento realistas. Para todos os outros, adquirir esse nível de dados ou mesmo o hardware para alimentá-lo simplesmente não é uma opção, a menos que você seja uma empresa com financiamento massivo. É aqui que a simulação em nuvem entra. Ao mover o treinamento e teste de robôs para ambientes virtuais baseados em nuvem, qualquer um pode acessar o poder computacional necessário e escalar. Uma plataforma em nuvem pode centralizar o compartilhamento dessas simulações, resultados e dados. Você está essencialmente abstraindo o acesso fechado que essas empresas bilionárias têm, os extensos componentes de hardware usados em laboratórios e trazendo conjuntos de dados à luz pública, onde contribuições de código aberto se tornam um +EV geral para a inovação. Esse modelo de negócios já está se provando com a parceria da LeRobot da Hugging Face (iniciativa de código aberto) com a Nvidia para conectar suas estruturas, permitindo que pesquisadores compartilhem modelos, conjuntos de dados e ambientes de simulação na nuvem. O objetivo final é criar um ciclo de dados, à medida que as pessoas contribuem com dados de simulação e políticas treinadas para repositórios abertos, isso acelera o progresso de outros, gerando mais dados acessíveis globalmente. Muito trabalho está sendo direcionado para isso, fechando a lacuna "sim para real". Simuladores muitas vezes não correspondiam à realidade, os robôs aprendiam comportamentos em um mundo virtual que não se transferiam para o mundo real, porque a física ou os visuais não eram precisos o suficiente. Essa lacuna está agora se fechando rapidamente devido à melhor fidelidade de simulação e abordagens de treinamento híbrido. A maioria dos modelos de fundação mais recentes em robótica (como o GROOT da NVIDIA e o Helix VLA da Figure) usa uma arquitetura de sistema duplo que imita a cognição humana. O mesmo se aplica a como eles estão treinando dados em simulações de mundo. Uma parte do modelo é treinada com dados de demonstração humana do mundo real, enquanto outra parte é treinada com uma enorme quantidade de dados sintéticos gerados por simuladores de alta fidelidade. Ao combinar treinamento físico e simulado, o modelo aprende habilidades precisas que se generalizam melhor. Dados reais fornecem verdade na IA, enquanto dados simulados fornecem a escala e a variedade que são impraticáveis de reunir no mundo físico. Os desenvolvedores podem até ajustar ou pós-treinar modelos com dados reais ou sintéticos adicionais para tarefas específicas, tornando o pipeline de treinamento extremamente flexível. O Helix VLA da Figure, que usa a abordagem Sistema 1/Sistema 2, é treinado com apenas centenas de horas de teleoperação (aumentadas por simulação e rotulagem inteligente), o Helix pode lidar com novas tarefas domésticas por meio de linguagem natural sem codificação personalizada. Demonstrando como modelos multimodais e treinamento sintético reduzem drasticamente as necessidades de dados. @codecopenflow está aplicando o mesmo princípio com o Octo, um VLA aberto integrado ao seu SDK Optr, permitindo percepção de múltiplas câmeras e controle guiado por linguagem com conjuntos de dados muito menores e menor computação. As plataformas de simulação de mundo estão agora gerando enormes volumes de dados de treinamento variados que simplesmente não estavam acessíveis antes. O Isaac Sim da Nvidia (parte do Isaac Lab) pode pegar uma única demonstração humana de uma tarefa e transformá-la em milhares de variações simuladas usando instâncias de nuvem paralelas. Imagine mostrar a um robô como pegar uma caixa na realidade e então o simulador cria incontáveis cenários com diferentes caixas, condições de iluminação e pequenas alterações na física, todos produzindo experiências de treinamento das quais o robô pode aprender. Uma visão que @unmoyai está trabalhando arduamente para alcançar. Quando essa habilidade é implantada em um robô físico, ela foi comprovada em grandes quantidades de testes virtuais. Combinar esses ricos conjuntos de dados sintéticos com dados de calibração do mundo real produz cérebros de robô muito mais precisos e resilientes. É para isso que o SDK em nuvem da Codec está posicionado, permitindo que os usuários tanto extraiam quanto contribuam para grandes conjuntos de dados de código aberto (por exemplo, interagindo com o hub LeRobot da Hugging Face). Cada execução de simulação na nuvem pode se tornar novos dados de treinamento que aprimoram um modelo global de como os robôs interagem com o mundo. Todas as peças sugerem que robôs humanoides e robôs em geral estão se aproximando de um "momento de App Store". O hardware do robô será inútil sem uma biblioteca de habilidades. O Optr fornece uma API unificada para que um agente autônomo controlando um aplicativo da web, um braço robótico ou um avatar simulado use todos a mesma estrutura e lógica central. Essa abstração é dinâmica, pois os desenvolvedores podem prototipar uma tarefa em um ambiente de simulação semelhante a um jogo e, em seguida, implantar a mesma lógica em um robô real com mínimas alterações. Por ser baseado em nuvem e aberto, o SDK Optr pode atuar como a base para um mercado de robótica. Os desenvolvedores podem criar uma nova habilidade sem possuir um robô (graças à simulação em nuvem), testá-la com segurança em ambientes virtuais e, em seguida, publicá-la para outros. Aqueles que precisam da habilidade, como uma startup de robótica ou um indivíduo com um robô doméstico, podem retirá-la da biblioteca e executá-la em suas máquinas. Esse tipo de mercado aberto e modelo de incentivo é o combustível para a economia de desenvolvedores de robótica. Ele reduz a barreira de entrada (nenhum hardware ou laboratório caro necessário devido às ferramentas em nuvem), incentiva a colaboração, uma vez que as contribuições melhoram os conjuntos de dados e modelos compartilhados, e fornece motivação financeira para indivíduos resolverem problemas de nicho. Existem muitas possibilidades de ciclo econômico descendente que surgem disso (que você pode ver a partir de parcerias recentes), mas vou deixar isso para um artigo separado.