老實說,我已經跟不上了…… 這看起來是最先進的技術,並不是在Nvidia上訓練的。
steve hsu
steve hsu8月4日 22:27
Huawei openPangu-Ultra-MoE-718B模型 此模型未使用Nvidia技術建造 - 只使用Ascend AI晶片,CANN而非CUDA。 "... 在Ascend NPU上從零開始訓練,總參數數量為718B,每個標記激活的參數數量為39B。openPangu-Ultra-MoE-718B在大約19萬億個標記上進行訓練,並具備在快速和慢速思考之間切換的能力。" 如果不是目前可用的最佳開放模型,這似乎是一個最先進的模型。 以下鏈接 - 您可以下載並使用它。
2.67K