Exportcontrole heeft een enorme impact, vooral voor op MLA gebaseerde modellen.
Neem K2/2.5 als voorbeeld, het heeft het aantal heads al verminderd tot 64, maar de rek intensiteit voor FP8 KVCache is nog steeds ≈2×2×64=256FLOP/Byte.
H20 heeft slechts 148TFLOPS BF16 rekencapaciteit.
Maximale bandbreedte is slechts 592GB/s.
We hebben een humanoïde met 22-DoF behendige handen getraind om modelauto's in elkaar te zetten, spuiten te bedienen, pokercards te sorteren, en shirts te vouwen/rollen, allemaal voornamelijk geleerd van meer dan 20.000 uur egocentrische menselijke video zonder robot in de lus.
Mensen zijn de meest schaalbare belichaming op de planeet. We ontdekten een bijna perfecte log-lineaire schaalwet (R² = 0.998) tussen het volume van menselijke video en de verlies van actievoorspelling, en dit verlies voorspelt direct het succespercentage van echte robots.
Humanoïde robots zullen het eindspel zijn, omdat ze de praktische vormfactor zijn met een minimale belichamingskloof ten opzichte van mensen. Noem het de Bittere Les van robothardware: de kinematische gelijkenis laat ons eenvoudigweg menselijke vingerbewegingen opnieuw richten op behendige robothandgewrichten. Geen geleerde embeddings, geen fancy transferalgoritmen nodig. Relatieve polsbeweging + opnieuw gerichte 22-DoF vingeracties dienen als een verenigde actieruimte die doorloopt van pre-training tot robotuitvoering.
Ons recept heet "EgoScale":
- Pre-train GR00T N1.5 op 20K uur menselijke video, mid-train met slechts 4 uur (!) robot speeldata met Sharpa handen. 54% winst ten opzichte van training vanaf nul over 5 zeer behendige taken.
- Meest verrassende resultaat: een *enkele* teleop-demo is voldoende om een nog nooit eerder gezien taak te leren. Ons recept maakt extreme data-efficiëntie mogelijk.
- Hoewel we pre-trainen in 22-DoF handgewrichtruimte, wordt het beleid overgedragen naar een Unitree G1 met 7-DoF tri-vinger handen. Meer dan 30% winst ten opzichte van training op G1-data alleen.
De schaalbare weg naar robotbehendigheid was nooit meer robots. Het was altijd wij.
Diepe duiken in de thread: