Інтригуюча стаття від Apple. MoE сильніші, ніж ви думаєте: гіперпаралельне масштабування висновків за допомогою RoE Папір: