微軟完成2.8萬億參數模型的預訓:比GPT-5.6基座更強,算力僅用
2026-10-16 17:41:24
幣界網消息,微軟宣佈完成新一代自研模型mai-base-2的預訓,該模型總參數達2.8萬億,採用moe混合專家架構,每次激活800億參數。今年8至9月,微軟動用1.6萬張NVIDIA GB200 GPU,訓練38天,處理約50萬億token。新模型首次引入原生視覺預訓,視覺數據佔訓練量的18%。內部測試顯示,mai-base-2在多個文本預測指標上超過deepseek-v4-pro-base、kimi、k3、qwen3.8等模型。微軟表示,若只想訓練出與deepseek-v4-pro-base同等水平的模型,所需算力僅為1/4至1/12。AI負責人Mustafa Suleyman稱,mai-base-2的預訓基座已強於支撐GPT-5.6的OpenAI模型,訓練算力僅爲後者的四分之一。該模型仍處於後訓練階段,微軟計劃將其用於自家產品,並通過Foundry向企業合作夥伴授權模型權重。
來源:互聯網
本內容只為提供市場資訊,不構成投資建議。
關注HQYC官方帳號,及時關注最新動態









