Fue genial finalmente conocer al equipo de @codecopenflow, @0xdetweiler y algunos amigos la otra noche. Después de poder hablar en persona, se ha aclarado mi posición de que Codec es la infraestructura de robótica más avanzada en nuestra industria. Lo que están construyendo es un conjunto de herramientas que actualmente no existe ni siquiera en web2 y su llegada llenará un enorme vacío para los flujos de datos. Habría sido muy fácil para mí quedarme en la comodidad de mi hogar y continuar publicando y comerciando regularmente. Aunque con la tecnología que están construyendo, esta es genuinamente la oportunidad de estar en la planta baja de la narrativa y la industria más obvias que multiplicarán por 100 desde aquí. Tienen la tecnología, la visión y la entrada directa del equipo de Hugging Face LeRobot para validar y dar forma a la usabilidad de su conjunto de herramientas para casos de uso en el mundo real. Entonces, ¿qué estoy haciendo? Todos somos conscientes de que el cripto es tanto un juego de marketing y óptica como de tecnología. Mi enfoque va a estar en el crecimiento, posicionamiento, contenido, rueda de impulso, ponzinomics, UI y ese toque de Shawmakesmagic que vimos en la temporada de AI. Piensa en el repositorio de GitHub de Eliza de Robótica, con un toque de ponzinomics Virtual y un front end que no requiere que seas un programador competente para entender lo que está sucediendo. Es cuestión de tiempo antes de que la robótica tenga su momento "chatgpt" y no creo que estemos muy lejos. El hecho de que estemos tan temprano con un producto tan desarrollado como lo es + la entrada directa de algunos de los mejores laboratorios de robótica del mundo es bastante loco.

Viajé a Dubái para trabajar en persona con el equipo de $CODEC. La robótica va a ser un sector demasiado grande como para no invertir todo en ello. Estudia para trabajar por tus inversiones.

La importancia de un SDK basado en la nube para la robótica puede no sonar llamativa, pero es absolutamente crucial para avanzar en el sector. Si estás en círculos tecnológicos, escucharás sobre plataformas en la nube a diario, que rara vez despiertan la imaginación. Sin embargo, para los robots humanoides y los operadores en el mundo físico, un kit de herramientas de simulación en la nube es una necesidad fundamental para cualquier desarrollador que intente escalar su entrenamiento. Las simulaciones precisas del mundo virtual son una de las mercancías más buscadas en la robótica en este momento. Los investigadores están realizando experimentos interminables para determinar qué combinaciones de datos reales y sintéticos generan los resultados más precisos para las tareas de entrenamiento. Sí, empresas como Tesla tienen una gran ventaja gracias a los datos de redes neuronales que han recopilado de sus flotas, aunque estos datos son simplemente información en bruto hasta que se ponen en práctica a través de simulaciones de entrenamiento realistas. Para todos los demás, adquirir ese nivel de datos o incluso el hardware para alimentarlo simplemente no es una opción a menos que seas una empresa con un gran financiamiento. Aquí es donde entra la simulación en la nube. Al mover el entrenamiento y las pruebas de robots a entornos virtuales basados en la nube, cualquiera puede acceder a la computación necesaria y escalar. Una plataforma en la nube puede centralizar el intercambio de esas simulaciones, resultados y datos. Esencialmente, estás abstraiendo el acceso cerrado que estas empresas de mil millones de dólares tienen, los extensos componentes de hardware utilizados en laboratorios y llevando conjuntos de datos a la luz pública donde las contribuciones de código abierto se convierten en un +EV general para la innovación. Este modelo de negocio ya se está demostrando con la iniciativa de código abierto LeRobot de Hugging Face, que se asocia con Nvidia para conectar sus marcos y permitir que los investigadores compartan modelos, conjuntos de datos y entornos de simulación en la nube. El objetivo final es crear un ciclo de datos, ya que las personas contribuyen con datos de simulación y políticas entrenadas a repositorios abiertos, acelera el progreso de otros, generando a su vez más datos accesibles globalmente. Se está canalizando mucho trabajo en esto a través del cierre de la brecha "sim a real". Los simuladores a menudo no alcanzaban la realidad, los robots aprendían comportamientos en un mundo virtual que no se transferían al mundo real, porque la física o los visuales no eran lo suficientemente precisos. Esa brecha ahora se está cerrando rápidamente gracias a una mejor fidelidad de simulación y enfoques de entrenamiento híbridos. La mayoría de los últimos modelos fundamentales en robótica (como el Isaac GROOT de NVIDIA y el Helix VLA de Figure) utilizan una arquitectura de sistema dual que imita la cognición humana. Lo mismo se aplica a cómo están entrenando datos en simulaciones del mundo. Una parte del modelo se entrena con datos de demostración humana del mundo real, mientras que otra parte se entrena con una gran cantidad de datos sintéticos generados a través de simuladores de alta fidelidad. Al combinar el entrenamiento físico y simulado, el modelo aprende habilidades precisas que se generalizan mejor. Los datos reales proporcionan verdad en la IA, mientras que los datos simulados proporcionan la escala y variedad que es impráctico reunir en el mundo físico. Los desarrolladores incluso pueden ajustar o post-entrenar modelos con datos reales o sintéticos adicionales para tareas específicas, haciendo que el pipeline de entrenamiento sea extremadamente flexible. El Helix VLA de Figures, que utiliza el enfoque de Sistema 1/Sistema 2, se entrena solo con cientos de horas de teleoperación (aumentadas por simulación y etiquetado inteligente), Helix puede manejar nuevas tareas domésticas a través del lenguaje natural sin codificación personalizada. Demostrando cómo los modelos multimodales y el entrenamiento sintético reducen drásticamente las necesidades de datos. @codecopenflow está aplicando el mismo principio con Octo, un VLA abierto integrado en su SDK Optr, que permite la percepción de múltiples cámaras y control guiado por lenguaje con conjuntos de datos mucho más pequeños y menor computación. Las plataformas de simulación del mundo están generando ahora enormes volúmenes de datos de entrenamiento variados que simplemente no estaban accesibles antes. Isaac Sim de Nvidia (parte de Isaac Lab) puede tomar una sola demostración humana de una tarea y convertirla en miles de variaciones simuladas utilizando instancias en la nube en paralelo. Imagina mostrar a un robot cómo recoger una caja en la realidad y luego el simulador crea innumerables escenarios con diferentes cajas, condiciones de iluminación y ligeros ajustes de física, todos produciendo experiencias de entrenamiento de las que el robot puede aprender. Una visión hacia la que @unmoyai está trabajando muy duro. Para cuando esa habilidad se despliega en un robot físico, ha sido probada en cantidades masivas de ensayos virtuales. Combinar estos ricos conjuntos de datos sintéticos con solo la cantidad suficiente de datos de calibración del mundo real produce cerebros de robot mucho más precisos y resilientes. Esto es para lo que está posicionado el SDK en la nube de Codec, permitiendo a los usuarios tanto extraer como contribuir a grandes conjuntos de datos de código abierto (por ejemplo, interfacing con el hub LeRobot de Hugging Face). Cada ejecución de simulación en la nube podría convertirse en nuevos datos de entrenamiento que agudizan un modelo global de cómo los robots interactúan con el mundo. Todas las piezas sugieren que los robots humanoides y en general están acercándose a un "momento de App Store". El hardware de los robots será inútil sin una biblioteca de habilidades. Optr proporciona una API unificada para que un agente autónomo que controla una aplicación web, un brazo robótico o un avatar simulado utilice el mismo marco y lógica central. Esta abstracción es dinámica, ya que los desarrolladores podrían prototipar una tarea en un entorno de simulación similar a un juego, y luego desplegar la misma lógica en un robot real con cambios mínimos. Al ser basado en la nube y abierto, el SDK Optr puede actuar como la base para un mercado de robótica. Los desarrolladores pueden construir una nueva habilidad sin poseer un robot (gracias a la simulación en la nube), probarla de forma segura en entornos virtuales y luego publicarla para otros. Aquellos que necesiten la habilidad, como una startup de robótica o un individuo con un robot doméstico, podrían extraerla de la biblioteca y ejecutarla en sus máquinas. Este tipo de mercado abierto y modelo de incentivos es la chispa para la economía de desarrolladores de robótica. Reduce la barrera de entrada (no se necesita hardware o laboratorios costosos gracias a las herramientas en la nube), fomenta la colaboración ya que las contribuciones mejoran los conjuntos de datos y modelos compartidos y proporciona motivación financiera para que las personas resuelvan problemas de nicho. Hay muchas posibilidades de ciclo económico descendente que surgen de esto (que puedes ver en asociaciones recientes), pero lo dejaré para un escrito separado.