先日の夜、ようやく@codecopenflowチーム、@0xdetweiler、そして何人かの友人に会えてよかったです。 直接話すことができた後、コーデックが私たちの業界で最も先進的なロボット工学インフラであるという私の立場が明確になりました。 彼らが構築しているのは、現在 Web2 にも存在しないツールキットであり、その登場によりデータ ストリームの大きな穴が埋められることになります。 私にとって、快適な家にいて、定期的に強気の投稿や取引を続けるのはとても簡単だったでしょう。 彼らが構築しているテクノロジーではありますが、これはまさに、ここから 100 倍になる最も明白な物語と業界の 1 階に立つチャンスです。 彼らは、Hugging Face LeRobotチームから技術、ビジョン、直接のインプットを受けて、実際のユースケースに対するツールキットの使いやすさを検証し、形成しています。 それで、私は何をしているのでしょうか? 暗号通貨がテクノロジーであると同時にマーケティングと光学的なゲームでもあることは誰もがよく知っています。 私の焦点は、成長、ポジショニング、コンテンツ、フライホイール、ポンジノミクス、UI、そしてAI sznから見られたショーメイクスマジックの散りばめにあります。 RoboticsのEliza GitHubリポジトリには、Virtualsのポンジノミクスがちりばめられており、何が起こっているのかを理解するために熟練したプログラマーである必要さえないフロントエンドを備えている。 ロボット工学が「chatgpt」の瞬間を迎えるのは時間の問題であり、それほど遠くないと思います。 私たちが開発された製品 + 世界最高のロボット工学研究所からの直接の意見を非常に早く開発しているという事実は、非常に非常識です。

ドバイに飛んで$CODECチームと直接仕事をしました。 ロボット工学は、全力を尽くさないには大きすぎる分野になるでしょう。 バッグのために働くことを勉強してください。

ロボット工学のためのクラウドベースの SDK の重要性は派手に聞こえないかもしれませんが、この分野を発展させるためには絶対に重要です。 テクノロジー界にいる人なら、クラウド プラットフォームについて毎日耳にするでしょうが、想像力をかき立てることはめったにありません。 しかし、物理世界のヒューマノイドロボットやオペレーターにとって、クラウドシミュレーションツールキットは、トレーニングを拡大しようとしている開発者にとって中核的な必需品です。 正確な仮想世界シミュレーションは、現在ロボット工学で最も求められている商品の 1 つです。研究者たちは、実際のデータと合成データの組み合わせがトレーニング タスクに対して最も正確な結果を生み出すかどうかを判断するために、無限の実験を実行しています 確かに、テスラのような企業は、フリートから収集したニューラルネットワークデータのおかげで大きな有利なスタートを切ることができますが、このデータは現実的なトレーニングシミュレーションを通じて実践されるまでは単なる生の情報です。 他の人にとって、そのレベルのデータやそれを強化するハードウェアさえも取得することは、巨額の資金を持つ企業でない限り、選択肢にありません。 ここでクラウドシミュレーションの出番です。ロボットのトレーニングとテストをクラウドベースの仮想環境に移行することで、誰でも必要なコンピューティングにアクセスして拡張できます。クラウドプラットフォームは、これらのシミュレーション、結果、データの共有を一元化できます。 本質的には、これらの10億ドル規模の企業がアクセスできる閉ざされたアクセス、ラボで使用される広範なハードウェアコンポーネントを抽象化し、データセットを一般に公開し、オープンソースの貢献がイノベーションへの全体的な+EVとなるのです。 このビジネスモデルは、Hugging FaceのLeRobot(オープンソースイニシアチブ)がNvidiaと提携してフレームワークを接続し、研究者がクラウド上でモデル、データセット、シミュレーション環境を共有できるようにすることで、すでに証明されています。 最終的な目標は、データフライホイールを作成することであり、人々がシミュレーションデータとトレーニングされたポリシーをオープンリポジトリに提供することで、他の人の進歩を加速し、ひいてはよりグローバルにアクセス可能なデータを生成します。 「シムからリアル」のギャップを埋めることで、多くの作業がこれに注がれています。シミュレーターは現実に及ばないことが多く、ロボットは仮想世界での行動を学習し、物理学やビジュアルが十分に正確ではなかったため、現実世界には移行しませんでした。このギャップは、シミュレーションの忠実度の向上とハイブリッドトレーニングアプローチにより、現在急速に縮まりつつあります。 ロボット工学の最新の基盤モデルのほとんど (NVIDIA の Isaac GROOT や Figure の Helix VLA など) は、人間の認知を模倣するデュアル システム アーキテクチャを使用しています。同じことが、ワールドシムでデータをトレーニングする方法にも当てはまります。モデルの一部は現実世界からの人間のデモンストレーションデータでトレーニングされ、別の部分は忠実度の高いシミュレーターを介して生成された大量の合成データでトレーニングされます。 物理トレーニングとシミュレートされたトレーニングを組み合わせることで、モデルは正確なスキルを学習し、よりよく一般化します。実際のデータは AI の真実を提供しますが、シミュレートされたデータは、物理世界で収集するのは現実的ではない規模と多様性を提供します。開発者は、特定のタスクに対して追加の実際のデータまたは合成データを使用してモデルを微調整したり、トレーニング後に投稿したりすることもできるため、トレーニング パイプラインが非常に柔軟になります。 図システム1/システム2アプローチを使用するHelix VLAは、わずか数百時間の遠隔操作時間(シミュレーションとスマートラベリングによって強化)でトレーニングされており、Helixはカスタムコーディングなしで自然言語を介して新しい家事を処理できます。マルチモーダルモデルと合成トレーニングがデータのニーズを劇的に削減する方法を示します。 @codecopenflowは、Optr SDKに統合されたオープンVLAであるOctoにも同じ原理を適用し、はるかに小さなデータセットとより低いコンピューティングでマルチカメラ認識と言語ガイド付き制御を可能にします。 ワールドシミュレーションプラットフォームは、以前はアクセスできなかった膨大な量の多様なトレーニングデータを生成しています。Nvidia の Isaac Sim (Isaac Lab の一部) は、タスクの 1 人の人間によるデモンストレーションを行い、並列クラウド インスタンスを使用して何千ものシミュレートされたバリエーションにスピンアップできます。 現実でロボットに 1 つの箱を拾う方法を示し、シミュレーターがさまざまな箱、照明条件、わずかな物理学の微調整を使用して無数のシナリオを作成し、ロボットが学習できるトレーニング体験を生み出すことを想像してみてください。@unmoyai懸命に取り組んでいるビジョン。 そのスキルが物理的なロボットに導入される頃には、大量の仮想トライアルで証明されています。これらの豊富な合成データセットと十分な現実世界のキャリブレーション データを組み合わせることで、はるかに正確で回復力のあるロボットの頭脳が生成されます。 これが、Codec のクラウド SDK が位置づけられているのは、ユーザーが大規模なオープンソース データセットから取得したり、大規模なオープンソース データセットに貢献したりできるようにすることです (たとえば、Hugging Face の LeRobot ハブとのインターフェース)。クラウドで実行されるすべてのシミュレーションは、ロボットが世界とどのように相互作用するかのグローバルモデルを鮮明にする新しいトレーニングデータになる可能性があります。 すべての記事は、ヒューマノイドとロボット全般が「App Storeの瞬間」に近づいていることを示唆しています。ロボットハードウェアは、スキルのライブラリがなければ役に立ちません。 Optrは、Webアプリ、ロボットアーム、またはシミュレートされたアバターを制御する自律エージェントがすべて同じコアフレームワークとロジックを使用するように、統合APIを提供します。開発者はシムのようなゲーム環境でタスクのプロトタイプを作成し、最小限の変更でまったく同じロジックを実際のロボットにデプロイできるため、この抽象化は動的です。 クラウドベースでオープンであるため、Optr SDKはロボット市場の基盤として機能します。開発者は、ロボットを所有せずに新しいスキルを構築し、仮想環境で安全にテストし、他の人に公開できます。ロボット工学のスタートアップや家庭用ロボットを持っている個人など、スキルが必要な人は、図書館からロボットを取り出し、自分のマシンで実行することができます。 この種のオープンマーケットプレイスとインセンティブモデルは、ロボット開発者経済の導火線です。参入障壁が低くなり(クラウドツールにより高価なハードウェアやラボは不要)、貢献によって共有データセットとモデルが改善され、個人がニッチな問題を解決するための経済的動機を提供するため、コラボレーションが促進されます。 このことから生まれる下流の経済フライホイールの可能性は数多くありますが(最近のパートナーシップからわかります)、それは別の記事のために取っておきます。