Każdy ekspert z Paryża od @bageldotcom był szkolony w izolacji na różnych klastrach sprzętowych na całych kontynentach. Podczas szkolenia nie dzielono się gradientami, parametrami ani aktywacjami. Lekki router transformatorowy później wybierał ekspertów podczas wnioskowania.