🦾 Geweldige📷 mijlpaal voor open-source robotica: pi0 & pi0.5 van @physical_int zijn nu op @huggingface, volledig overgezet naar PyTorch in @LeRobotHF en zij zijn zij aan zij gevalideerd met OpenPI zodat iedereen kan experimenteren, fijn-tunen en implementeren in hun robots! Zoals beschreven door Physical Intelligence, is π₀.₅ een Vision-Language-Action model dat een significante evolutie van π₀ vertegenwoordigt om een grote uitdaging in de robotica aan te pakken: open-wereld generalisatie. Terwijl robots indrukwekkende taken kunnen uitvoeren in gecontroleerde omgevingen, is π₀.₅ ontworpen om te generaliseren naar volledig nieuwe omgevingen en situaties die nooit tijdens de training zijn gezien. Generalisatie moet op meerdere niveaus plaatsvinden: - Fysiek Niveau: Begrijpen hoe je een lepel (bij de steel) of een bord (bij de rand) oppakt, zelfs met ongeziene objecten in rommelige omgevingen - Semantisch Niveau: Begrijpen van taaksemantiek, waar je kleren en schoenen moet plaatsen (wasmand, niet op het bed), en welke gereedschappen geschikt zijn voor het opruimen van gemorste vloeistoffen - Omgevingsniveau: Zich aanpassen aan "rommelige" echte omgevingen zoals huizen, supermarkten, kantoren en ziekenhuizen De doorbraakinnovatie in π₀.₅ is co-training op heterogene gegevensbronnen. Het model leert van: - Multimodale Webdata: Beeldbijschriften, visuele vraag-antwoord, objectdetectie - Verbale Instructies: Mensen die robots coachen door complexe taken stap voor stap - Subtaakcommando's: Hoog-niveau semantische gedragslabels (bijv. "pak het kussen op" voor een niet-opgemaakt bed) - Cross-Embodiment Robotdata: Gegevens van verschillende robotplatforms met verschillende mogelijkheden - Multi-Omgevingsdata: Statische robots die in veel verschillende huizen zijn ingezet - Mobiele Manipulatiedata: ~400 uur aan demonstraties van mobiele robots Deze diverse trainingsmix creëert een "curriculum" dat generalisatie over fysieke, visuele en semantische niveaus tegelijkertijd mogelijk maakt. Grote dank aan het @physical_int team & bijdragers Model: LeRobot: