🦾¡Gran📷 hito para la robótica de código abierto: pi0 y pi0.5 de @physical_int ya están en @huggingface, completamente portados a PyTorch en @LeRobotHF y validados lado a lado con OpenPI para que todos puedan experimentar, ajustar y desplegar en sus robots! Como describe Physical Intelligence, π₀.₅ es un modelo de Visión-Lenguaje-Acción que representa una evolución significativa de π₀ para abordar un gran desafío en la robótica: la generalización en un mundo abierto. Mientras que los robots pueden realizar tareas impresionantes en entornos controlados, π₀.₅ está diseñado para generalizar a entornos y situaciones completamente nuevas que nunca se vieron durante el entrenamiento. La generalización debe ocurrir en múltiples niveles: - Nivel Físico: Entender cómo recoger una cuchara (por el mango) o un plato (por el borde), incluso con objetos no vistos en entornos desordenados - Nivel Semántico: Entender la semántica de la tarea, dónde poner la ropa y los zapatos (cesto de ropa, no en la cama), y qué herramientas son apropiadas para limpiar derrames - Nivel Ambiental: Adaptarse a entornos "desordenados" del mundo real como hogares, supermercados, oficinas y hospitales La innovación revolucionaria en π₀.₅ es el co-entrenamiento en fuentes de datos heterogéneas. El modelo aprende de: - Datos Web Multimodales: Subtitulación de imágenes, preguntas visuales, detección de objetos - Instrucciones Verbales: Humanos entrenando a robots a través de tareas complejas paso a paso - Comandos de Subtarea: Etiquetas de comportamiento semántico de alto nivel (por ejemplo, "recoge la almohada" para una cama deshecha) - Datos de Robot de Embodiment Cruzado: Datos de varias plataformas robóticas con diferentes capacidades - Datos de Múltiples Entornos: Robots estáticos desplegados en muchos hogares diferentes - Datos de Manipulación Móvil: ~400 horas de demostraciones de robots móviles Esta mezcla de entrenamiento diversa crea un "currículo" que permite la generalización a través de niveles físicos, visuales y semánticos simultáneamente. Un enorme agradecimiento al equipo de @physical_int y a los colaboradores Modelo: LeRobot: