@bageldotcomのパリの各専門家は、大陸にまたがるさまざまなハードウェアクラスターで個別にトレーニングを受けました。 トレーニング中に勾配、パラメーター、または活性化は共有されませんでした。 軽量のトランスルーターは、後に推論中に専門家を選択しました。