ITBear旗下自媒體矩陣:

新一代AI大模型登場:書生?浦語 20B 單卡輕松應對

   時間:2023-09-21 15:09:32 來源:ITBEAR編輯:芳華 發表評論無障礙通道

【ITBEAR科技資訊】9月21日消息,上海 AI 實驗室與商湯科技、香港中文大學、復旦大學聯手推出了一款嶄新的中文大模型,號稱"書生?浦語" 20B 版本。這一重要的科技成果宣布了一次巨大的突破,該模型的性能和功能在多個方面都取得了顯著提升。據了解,這款 20B 版本的模型是基于 2.3T Tokens 的預訓練語料從頭訓練的,具有強大的理解、推理、數學和編程能力,同時也在文本處理和安全性方面有了巨大的進步。

新發布的書生?浦語 20B 模型引人注目的一點是其卓越性能。盡管參數量不到 Llama2-70B 的三分之一,但它在性能測試中表現出與相似規模模型相媲美的水平,實現了多方面的綜合性能提升。模型還支持數十類插件和上萬個 API 功能,具備了代碼解釋和反思修正的能力,這使得它能夠適應廣泛的應用場景。

與此前的模型相比,書生?浦語 20B 版本在文本處理方面有了顯著改進。它能夠有效支持長文理解、長文生成和超長對話,同時還支持高達 16K 字符的語境長度。這一特性將為處理復雜的文本任務提供更大的靈活性和效率。

在安全性方面,研究團隊采用了兩階段價值對齊(SFT 和 RLHF)以及專家紅隊的對抗訓練,顯著提高了模型的安全性。這一舉措旨在防止不良用途,確保模型在實際應用中能夠安全可靠地運行。

最后值得一提的是,書生?浦語 20B 模型的開源工具鏈也經過全面升級,包括預訓練框架、低成本微調框架、部署推理框架、評測框架以及智能體框架,這將有助于開發者更好地利用和應用這一創新技術。

免責聲明:本網信息來自于互聯網,目的在于傳遞更多信息,并不代表本網贊同其觀點。其內容真實性、完整性不作任何保證或承諾。如若本網有任何內容侵犯您的權益,請及時聯系我們,本站將會在24小時內處理完畢。
舉報 0 收藏 0 打賞 0評論 0
 
 
更多>同類資訊
全站最新
熱門內容
網站首頁  |  關于我們  |  聯系方式  |  版權聲明  |  網站留言  |  RSS訂閱  |  違規舉報  |  開放轉載  |  滾動資訊  |  English Version
關閉
ITBear微信賬號

微信掃一掃
加微信拉群
電動汽車群
科技數碼群