Fue genial finalmente conocer al equipo de @codecopenflow, @0xdetweiler y algunos amigos la otra noche. Después de poder hablar en persona, aclaré mi posición de que Codec es la infraestructura robótica más avanzada de nuestra industria. Lo que están construyendo es un conjunto de herramientas que actualmente no existe ni siquiera en web2 y su llegada llenará un enorme vacío para los flujos de datos. Hubiera sido muy fácil para mí quedarme en la comodidad de mi hogar y continuar publicando y comerciando regularmente. Aunque con la tecnología que están construyendo, esta es realmente la oportunidad de estar en la planta baja de la narrativa y la industria más obvias que se multiplicarán por 100 desde aquí. Tienen la tecnología, la visión y el aporte directo del equipo de Hugging Face LeRobot para validar y dar forma a la usabilidad de su kit de herramientas para casos de uso del mundo real. Entonces, ¿qué estoy haciendo? Todos somos conscientes de que las criptomonedas son tanto un juego de marketing y óptica como tecnología. Mi enfoque estará en el crecimiento, el posicionamiento, el contenido, el volante, la ponzinomics, la interfaz de usuario y esa pizca de Shawmakesmagic que vimos en AI szn. Piense en el repositorio de Eliza GitHub de Robotics, con una pizca de ponzinomics de Virtuals y una interfaz que no requiere que sea un codificador competente para comprender lo que está sucediendo. Es cuestión de tiempo antes de que la robótica tenga su momento de "chatgpt" y no creo que estemos muy lejos. El hecho de que estemos tan temprano con un producto tan desarrollado como está + aporte directo de algunos de los mejores laboratorios de robótica del mundo es bastante loco.

Voló a Dubai para trabajar con el equipo de $CODEC en persona. La robótica va a ser un sector demasiado grande como para no entrar en él. Estudia trabajando para tus maletas.

La importancia de un SDK basado en la nube para la robótica puede no parecer llamativa, pero es absolutamente crucial para avanzar en el sector. Si estás en los círculos tecnológicos, escucharás hablar de plataformas en la nube a diario, que rara vez despiertan la imaginación. Sin embargo, para los robots humanoides y los operadores en el mundo físico, un kit de herramientas de simulación en la nube es una necesidad fundamental para cualquier desarrollador que intente escalar su capacitación. Las simulaciones precisas del mundo virtual son uno de los productos más buscados en robótica en este momento. Los investigadores están realizando un sinfín de experimentos para determinar qué combinaciones de datos reales y sintéticos generan los resultados más precisos para las tareas de entrenamiento Sí, empresas como Tesla tienen una gran ventaja gracias a los datos de redes neuronales que han recopilado de sus flotas, aunque estos datos son simplemente información en bruto hasta que se ponen en práctica a través de simulaciones de entrenamiento realistas. Para todos los demás, adquirir ese nivel de datos o incluso el hardware para impulsarlo simplemente no es una opción a menos que sea una empresa financiada masivamente. Aquí es donde entra en juego la simulación en la nube. Al trasladar el entrenamiento y las pruebas de robots a entornos virtuales basados en la nube, cualquiera puede acceder a la computación y la escala necesarias. Una plataforma en la nube puede centralizar el intercambio de esas simulaciones, resultados y datos. Básicamente, está abstrayendo el acceso a puerta cerrada al que tienen acceso estas empresas de miles de millones de dólares, los extensos componentes de hardware utilizados en los laboratorios y sacando a la luz pública conjuntos de datos donde las contribuciones de código abierto se convierten en un +EV general para la innovación. Este modelo de negocio ya está demostrando su valía con LeRobot (iniciativa de código abierto) de Hugging Face asociándose con Nvidia para conectar sus marcos para que los investigadores puedan compartir modelos, conjuntos de datos y entornos de simulación en la nube. El objetivo final es crear un volante de datos, ya que las personas contribuyen con datos de simulación y políticas entrenadas para abrir repositorios, acelera el progreso de otros, generando a su vez datos más accesibles a nivel mundial. Se está canalizando mucho trabajo en esto cerrando la brecha de "simulación a real". Los simuladores a menudo no estaban a la altura de la realidad, los robots aprendían comportamientos en un mundo virtual que no se transferían al mundo real, porque la física o las imágenes no eran lo suficientemente precisas. Esa brecha ahora se está cerrando rápidamente debido a una mejor fidelidad de simulación y enfoques de entrenamiento híbridos. La mayoría de los últimos modelos de bases en robótica (como Isaac GROOT de NVIDIA y Helix VLA de Figure) utilizan una arquitectura de sistema dual que imita la cognición humana. Lo mismo se aplica a la forma en que entrenan los datos en los simuladores del mundo. Una parte del modelo se entrena con datos de demostración humanos del mundo real, mientras que otra parte se entrena con una cantidad masiva de datos sintéticos generados a través de simuladores de alta fidelidad. Al combinar el entrenamiento físico y simulado, el modelo aprende habilidades precisas que generalizan mejor. Los datos reales proporcionan la verdad en la IA, mientras que los datos simulados proporcionan la escala y la variedad que no es práctico recopilar en el mundo físico. Los desarrolladores pueden incluso ajustar o posentrenar modelos con datos reales o sintéticos adicionales para tareas específicas, lo que hace que la canalización de entrenamiento sea extremadamente flexible. Figuras Helix VLA, que utiliza el enfoque del Sistema 1 / Sistema 2, está entrenado con solo cientos de horas teleoperadas (aumentadas por simulación y etiquetado inteligente), Helix puede manejar nuevas tareas domésticas a través del lenguaje natural sin codificación personalizada. Demostrar cómo los modelos multimodales y el entrenamiento sintético reducen drásticamente las necesidades de datos. @codecopenflow está aplicando el mismo principio con Octo, un VLA abierto integrado en su SDK Optr, lo que permite la percepción multicámara y el control guiado por el lenguaje con conjuntos de datos mucho más pequeños y una computación más baja. Las plataformas de simulación mundial ahora están generando enormes volúmenes de datos de entrenamiento variados que antes simplemente no eran accesibles. Isaac Sim de Nvidia (parte de Isaac Lab) puede tomar una sola demostración humana de una tarea y convertirla en miles de variaciones simuladas utilizando instancias de nube paralelas. Imagínese mostrarle a un robot cómo recoger una caja en la realidad y luego el simulador crea innumerables escenarios con diferentes cajas, condiciones de iluminación y ligeros ajustes físicos, todo lo cual produce experiencias de entrenamiento de las que el robot puede aprender. Una visión por la @unmoyai está trabajando muy duro. Para cuando esa habilidad se implementa en un robot físico, se ha probado en cantidades masivas de pruebas virtuales. La combinación de estos ricos conjuntos de datos sintéticos con suficientes datos de calibración del mundo real produce cerebros robóticos mucho más precisos y resistentes. Esto es para lo que se posiciona el SDK en la nube de Codec al permitir que los usuarios extraigan y contribuyan a grandes conjuntos de datos de código abierto (por ejemplo, interactuando con el centro LeRobot de Hugging Face). Cada simulación ejecutada en la nube podría convertirse en nuevos datos de entrenamiento que agudizan un modelo global de cómo los robots interactúan con el mundo. Todas las piezas sugieren que los humanoides y los robots en general se están acercando a un "momento de la App Store". El hardware de los robots será inútil sin una biblioteca de habilidades. Optr proporciona una API unificada para que un agente autónomo que controle una aplicación web, un brazo robótico o un avatar simulado utilicen el mismo marco y lógica centrales. Esta abstracción es dinámica, ya que los desarrolladores podrían crear un prototipo de una tarea en un entorno de simulación similar a un juego y luego implementar la misma lógica en un robot real con cambios mínimos. Al estar basado en la nube y abierto, el SDK de Optr puede actuar como base para un mercado de robótica. Los desarrolladores pueden desarrollar una nueva habilidad sin tener un robot (gracias al simulador en la nube), probarla de forma segura en entornos virtuales y luego publicarla para otros. Aquellos que necesitan la habilidad, como una startup de robótica o una persona con un robot doméstico, podrían sacarla de la biblioteca y ejecutarla en sus máquinas. Este tipo de mercado abierto y modelo de incentivos es la mecha de la economía de los desarrolladores de robótica. Reduce la barrera de entrada (no se necesita hardware costoso ni laboratorios debido a las herramientas en la nube), fomenta la colaboración ya que las contribuciones mejoran los conjuntos de datos y modelos compartidos y proporciona motivación financiera para que las personas resuelvan problemas de nicho. Hay muchas posibilidades de volante económico aguas abajo que se generan a partir de esto (que puede ver en asociaciones recientes), pero lo guardaré para un artículo separado.