ITBear旗下自媒體矩陣:

MiniMax 稀宇科技推出萬億參數MoE模型abab 6.5 ,核心能力接近 GPT-4

   時間:2024-04-17 16:49:26 來源:ITBEAR編輯:茹茹 發表評論無障礙通道

【ITBEAR科技資訊】4月17日消息,國內AI初創企業MiniMax稀宇科技今日宣布,他們已成功研發出基于MoE(Mixture of Experts)混合專家模型架構的abab 6.5系列模型,這標志著該公司在人工智能領域取得了重要突破。據悉,該系列模型的核心能力已經開始接近當前領先的GPT-4、Claude-3和Gemini-1.5等模型。

abab 6.5系列包含兩個重要模型:abab 6.5和abab 6.5s。其中,abab 6.5模型擁有萬億級別的參數,能夠支持長達200k tokens的上下文長度,展現出強大的語言處理能力。而abab 6.5s模型則在保持與abab 6.5相同訓練技術和數據的基礎上,實現了更高的效率。它同樣支持200k tokens的上下文長度,并且能在1秒內處理近3萬字的文本,為實時、高效的語言處理提供了可能。

據ITBEAR科技資訊了解,自今年1月MiniMax發布國內首個基于MoE架構的abab 6模型以來,該公司一直致力于通過改進模型架構、重構數據pipeline、優化訓練算法及并行訓練策略等手段,加速Scaling Laws的過程。這一系列努力終于取得了階段性的成果,即abab 6.5系列的誕生。

為了驗證abab 6.5系列模型的性能,MiniMax官方進行了業界常用的“大海撈針”測試。在該測試中,官方在一段很長的文本中插入一個與該文本無關的句子,并嘗試通過自然語言向模型提問,以檢驗模型是否能夠準確找出這個“針”。經過891次測試,abab 6.5均能夠準確地回答出這個“針”,展現出極高的精確度和可靠性。

隨著abab 6.5與abab 6.5s模型的推出,MiniMax稀宇科技將進一步鞏固其在人工智能領域的地位。這兩個模型將陸續更新至MiniMax旗下的產品中,包括海螺AI和MiniMax開放平臺。

舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯系方式  |  版權聲明  |  網站留言  |  RSS訂閱  |  違規舉報  |  開放轉載  |  滾動資訊  |  English Version
 
1000部啪啪未满十八勿入免费,一卡二卡≡卡四卡在线视频,好黄好硬好爽免费视频天堂网,日韩人妻无码精品系列专区