Modèle Huawei openPangu-Ultra-MoE-718B Aucune technologie Nvidia n'a été utilisée pour construire ce modèle - uniquement des puces AI Ascend, CANN et non CUDA. "... entraîné depuis zéro sur NPU Ascend, avec un total de 718 milliards de paramètres et 39 milliards de paramètres activés par token. Le openPangu-Ultra-MoE-718B est entraîné sur environ 19 trillions de tokens, et équipé de la capacité de passer entre une pensée rapide et une pensée lente." Il semble s'agir d'un modèle à la pointe de la technologie, sinon le meilleur modèle ouvert actuellement disponible. Lien ci-dessous - vous pouvez le télécharger et l'utiliser.