كان من الرائع أن ألتقي أخيرا بفريق @codecopenflow ، @0xdetweiler وبعض الأصدقاء في الليلة الماضية. بعد أن تمكنت من التحدث شخصيا ، أوضح موقفي بأن برنامج الترميز هو البنية التحتية الأكثر تقدما في مجال الروبوتات في صناعتنا. ما يقومون ببنائه هو مجموعة أدوات غير موجودة حاليا حتى في web2 وسيؤدي وصولها إلى ملء فجوة هائلة لتدفقات البيانات. كان من السهل جدا بالنسبة لي البقاء في راحة منزلي والاستمرار في تداول الصعود بانتظام. على الرغم من أنه مع التكنولوجيا التي يقومون ببنائها ، إلا أن هذه هي حقا فرصة للتواجد في الطابق الأرضي للسرد والصناعة الأكثر وضوحا والتي ستتفوق 100x من هنا. لديهم التكنولوجيا والرؤية والمدخلات المباشرة من فريق Hugging Face LeRobot للتحقق من صحة وتشكيل قابلية استخدام مجموعة أدواتهم لحالات الاستخدام في العالم الحقيقي. إذن ماذا أفعل؟ نحن جميعا ندرك جيدا أن التشفير هي لعبة تسويق وبصريات بقدر ما هي تقنية. سيكون تركيزي على النمو ، وتحديد المواقع ، والمحتوى ، والحدافة ، والبونزينوميكس ، وواجهة المستخدم ، ورش Shawmakesmagic الذي رأيناه من الذكاء الاصطناعي szn. فكر في Eliza GitHub repo of Robotics ، مع اندفاعة من Virtuals ponzinomics والواجهة الأمامية التي لا تتطلب منك أن تكون مبرمجا بارعا حتى لفهم ما يجري. إنها مسألة وقت قبل أن تحصل الروبوتات على لحظة "chatgpt" ولا أعتقد أننا بعيدون جدا. حقيقة أننا في وقت مبكر جدا مع منتج تم تطويره كما هو + مدخلات مباشرة من بعض أفضل مختبرات الروبوتات في العالم أمر مجنون للغاية.

سافر إلى دبي للعمل مع فريق $CODEC شخصيا. ستكون الروبوتات قطاعا كبيرا جدا بحيث لا يمكن المضي قدما. دراسة العمل من أجل حقائبك.

قد لا تبدو أهمية SDK المستندة إلى السحابة للروبوتات براقة ، ولكنها ضرورية للغاية للنهوض بالقطاع. إذا كنت في دوائر تقنية ، فستسمع عن المنصات السحابية يوميا ، والتي نادرا ما تثير الخيال. ومع ذلك ، بالنسبة للروبوتات والمشغلين البشريين في العالم المادي ، تعد مجموعة أدوات المحاكاة السحابية ضرورة أساسية لأي مطور يحاول توسيع نطاق تدريبه. تعد عمليات محاكاة العالم الافتراضي الدقيقة واحدة من أعلى السلع المرغوبة في مجال الروبوتات في الوقت الحالي. يجري الباحثون تجارب لا نهاية لها لتحديد مجموعات البيانات الحقيقية والتركيبية التي تولد النتائج الأكثر دقة لمهام التدريب نعم ، تتمتع شركات مثل Tesla ببداية هائلة بفضل بيانات الشبكة العصبية التي جمعوها من أساطيلها ، على الرغم من أن هذه البيانات هي مجرد معلومات أولية حتى يتم وضعها موضع التنفيذ من خلال محاكاة تدريب واقعية. بالنسبة لأي شخص آخر ، فإن الحصول على هذا المستوى من البيانات أو حتى الأجهزة اللازمة لتشغيلها ليس خيارا إلا إذا كنت شركة ممولة على نطاق واسع. هذا هو المكان الذي تأتي فيه محاكاة السحابة. من خلال نقل تدريب الروبوت واختباره إلى البيئات الافتراضية المستندة إلى السحابة ، يمكن لأي شخص الوصول إلى الحوسبة والتوسع المطلوبين. يمكن للمنصة السحابية أن تجعل مشاركة عمليات المحاكاة والنتائج والبيانات مركزية. أنت تقوم بشكل أساسي بإزالة الوصول إلى الباب المغلق الذي يمكن لهذه الشركات بمليارات الدولارات الوصول إليه ، ومكونات الأجهزة الشاملة المستخدمة في المختبرات وجلب مجموعات البيانات إلى الضوء العام حيث تصبح مساهمات المصدر المفتوح عبارة عن + EV للابتكار. يثبت نموذج العمل هذا نفسه بالفعل من خلال شراكة LeRobot (مبادرة مفتوحة المصدر) من Hugging Face مع Nvidia لربط أطر عملها حتى يتمكن الباحثون من مشاركة النماذج ومجموعات البيانات وبيئات المحاكاة على السحابة. الهدف النهائي هو إنشاء دولاب الموازنة للبيانات ، حيث يساهم الأشخاص في بيانات المحاكاة والسياسات المدربة لفتح المستودعات ، فإنه يسرع تقدم الآخرين ، وبالتالي يولد بيانات يمكن الوصول إليها عالميا. يتم توجيه الكثير من العمل إلى هذا من خلال سد فجوة "sim to real". غالبا ما كانت أجهزة المحاكاة أقل من الواقع ، حيث تتعلم الروبوتات السلوكيات في عالم افتراضي لم تنتقل إلى العالم الحقيقي ، لأن الفيزياء أو المرئيات لم تكن دقيقة بما فيه الكفاية. هذه الفجوة تغلق الآن بسرعة بسبب دقة المحاكاة الأفضل وأساليب التدريب الهجين. تستخدم معظم أحدث نماذج التأسيس في مجال الروبوتات (مثل Isaac GROOT من NVIDIA و Helix VLA من Figure) بنية نظام مزدوج تحاكي الإدراك البشري. الأمر نفسه ينطبق على كيفية تدريب البيانات في لعبة sims العالمية. يتم تدريب جزء واحد من النموذج على بيانات العرض التوضيحي البشري من العالم الحقيقي ، بينما يتم تدريب جزء آخر على كمية هائلة من البيانات التركيبية التي تم إنشاؤها عبر أجهزة محاكاة عالية الدقة. من خلال الجمع بين التدريب البدني والمحاكاة ، يتعلم النموذج مهارات دقيقة تعمم بشكل أفضل. توفر البيانات الحقيقية الحقيقة في الذكاء الاصطناعي ، بينما توفر البيانات المحاكاة النطاق والتنوع غير العملي لجمعهما في العالم المادي. يمكن للمطورين حتى ضبط نماذج القطارات أو نشرها ببيانات حقيقية أو تركيبية إضافية لمهام محددة ، مما يجعل خط أنابيب التدريب مرنا للغاية. الأشكال Helix VLA التي تستخدم نهج System 1 / System 2 يتم تدريبها على مئات الساعات التي تعمل عن بعد فقط (معززة بالمحاكاة ووضع العلامات الذكية) ، يمكن ل Helix التعامل مع المهام المنزلية الجديدة من خلال اللغة الطبيعية بدون تشفير مخصص. يوضح كيف أن النماذج متعددة الوسائط والتدريب الاصطناعي تقلل من احتياجات البيانات بشكل كبير. @codecopenflow تطبق نفس المبدأ مع Octo ، وهو VLA مفتوح مدمج في Optr SDK الخاص به ، مما يتيح إدراك الكاميرات المتعددة والتحكم الموجه باللغة مع مجموعات بيانات أصغر بكثير وحساب أقل. تقوم منصات المحاكاة العالمية الآن بتوليد كميات هائلة من بيانات التدريب المتنوعة التي لم يكن من الممكن الوصول إليها من قبل. يمكن ل Isaac Sim من Nvidia (جزء من Isaac Lab) أن يأخذ عرضا بشريا واحدا لمهمة ما ويدور إلى آلاف الاختلافات المحاكاة باستخدام مثيلات السحابة المتوازية. تخيل أن تظهر لروبوت كيفية التقاط صندوق واحد في الواقع ، ثم يقوم المحاكي بإنشاء سيناريوهات لا حصر لها مع صناديق مختلفة وظروف إضاءة وتعديلات فيزيائية طفيفة ، وكلها تنتج تجارب تدريبية يمكن للروبوت التعلم منها. رؤية @unmoyai تعمل بجد من أجلها. بحلول الوقت الذي يتم فيه نشر هذه المهارة على روبوت مادي ، تم إثباتها بكميات كبيرة من التجارب الافتراضية. ينتج عن الجمع بين مجموعات البيانات التركيبية الغنية هذه وبيانات معايرة كافية في العالم الحقيقي أدمغة روبوتية أكثر دقة ومرونة. هذا هو ما تم وضع SDK السحابي الخاص ببرنامج الترميز من خلال السماح للمستخدمين بالسحب من مجموعات البيانات الكبيرة مفتوحة المصدر والمساهمة فيها (على سبيل المثال ، التفاعل مع مركز LeRobot الخاص ب Hugging Face). يمكن أن تصبح كل محاكاة يتم تشغيلها في السحابة بيانات تدريب جديدة تشحذ نموذجا عالميا لكيفية تفاعل الروبوتات مع العالم. تشير جميع القطع إلى أن البشر والروبوتات بشكل عام يقتربون من "لحظة متجر التطبيقات". ستكون أجهزة الروبوت عديمة الفائدة بدون مكتبة من المهارات. يوفر Optr واجهة برمجة تطبيقات موحدة بحيث يستخدم الوكيل المستقل الذي يتحكم في تطبيق ويب أو ذراع روبوت أو صورة رمزية محاكاة نفس الإطار الأساسي والمنطق. هذا التجريد ديناميكي ، حيث يمكن للمطورين إنشاء نموذج أولي لمهمة في لعبة مثل بيئة sim ، ثم نشر نفس المنطق على روبوت حقيقي مع الحد الأدنى من التغييرات. من خلال كونها قائمة على السحابة ومفتوحة ، يمكن أن تعمل Optr SDK كأساس لسوق الروبوتات. يمكن للمطورين بناء مهارة جديدة دون امتلاك روبوت (بفضل بطاقة SIM السحابية) ، واختبارها بأمان في البيئات الافتراضية ، ثم نشرها للآخرين. يمكن لأولئك الذين يحتاجون إلى هذه المهارة ، مثل شركة ناشئة في مجال الروبوتات أو فرد لديه روبوت منزلي ، سحبها من المكتبة وتشغيلها على أجهزتهم. هذا النوع من السوق المفتوح ونموذج الحوافز هو فتيل لاقتصاد مطوري الروبوتات. إنه يقلل من حاجز الدخول (لا حاجة إلى أجهزة أو مختبرات باهظة الثمن بسبب الأدوات السحابية) ، ويشجع التعاون لأن المساهمات تعمل على تحسين مجموعات البيانات والنماذج المشتركة وتوفر حافزا ماليا للأفراد لحل المشكلات المتخصصة. هناك العديد من إمكانيات دولاب الموازنة الاقتصادية النهائية التي تفرخ من هذا (والتي يمكنك رؤيتها من الشراكات الأخيرة) لكنني سأحفظ ذلك لكتابة منفصلة.