聯發創新基地開源釋出精準運用中英雙語的 MediaTek Research Breeze-7B 大型語言模型
2024 年 3 月 7 日 — 聯發科技集團轄下的前瞻技術研究單位聯發創新基地,繼 2023 年初釋出全球第一款繁體中文大型語言模型後,今日再度開源釋出能夠精準理解和生成中英兩種語言的 MediaTek Research Breeze-7B(以下簡稱 MR Breeze-7B)70 億參數系列大型語言模型供大眾使用。MR Breeze-7B 基於開源界最熱門的 Mistral 模型,較上一代繁體中文大型語言模型增加 20 倍以上的知識量,使 MR Breeze-7B 能更精確掌握中英文的細微語言與文化差異,呈現更自然、準確的溝通以及雙語內容創作。此外,在聯發創新基地對模型的優化下,MR Breeze-7B 繁體中文的推理處理速度只需要市面上其他 70 億參數級別的 Meta 或 Mistral 模型一半的時間,提供更順暢的使用體驗。
聯發創新基地負責人許大山博士表示: 「近期全球 AI 領域研究蓬勃發展,但多數研究與開發項目都以英文的大型語言模型進行。我們知道許多學術界專家與應用開發者,都在為推進繁體中文 AI 的創新與應用而努力,相信這次聯發創新基地 MR Breeze-7B 繁體中文大型語言模型開源將有益於學術界與業界在 AI 的發展,未來聯發創新基地也將規劃開源多模態模型,期待持續與學術界及業界共同開創 AI 領域的更多可能性。」
在市面上眾多 70 億參數級別的中英雙語模型中,MR Breeze-7B 模型在對話與表格處理能力上都是領先者。MR Breeze-7B 能在更短的時間內理解並生成更流暢、精準的中英文回應,還能精準捕捉語境,提供高度相關且連貫的回答,為即時翻譯、商業溝通、智能客服對話等需要快速反應的即時中英雙語的場景提供顯著的效能提升。此外,MR Breeze-7B 也能精確地解讀和生成表格內容,無論是數據分析、財務報表還是複雜的排程任務,都能夠提供高效且可靠的支援,對於需要處理大量結構化數據的企業來說尤其重要。
此次聯發創新基地 MR Breeze-7B 的模型開源有助學術研究人員深入理解大型語言模型的運作機制,持續改進大型語言模型的幻覺問題(hallucination)與問答校準(alignment)等,以優化未來語言模型的生成結果。聯發創新基地也將不斷地投入大型語言模型的開發,預計下一代以開源模型 Mixtral 為基礎所訓練的 470 億參數大模型,將在近期開放給大眾測試。
###
關於聯發科技
聯發科技股份有限公司(TWSE:2454)是一家全球無晶圓廠半導體公司,在智慧手持裝置、智慧家庭應用、無線連結技術及物聯網產品等市場位居領先地位,每年約有 20 億台內建聯發科技晶片的終端產品在全球上市。聯發科技力求技術創新,為智慧型手機、平板電腦、智慧電視與機上盒、穿戴式裝置與車用電子等產品,提供具備高效能、低功耗的行動運算技術與先進的多媒體功能。聯發科技致力讓科技產品更普及,因為我們相信科技能夠改善人類的生活、與世界連結,每個人都有潛力利用科技創造無限可能。更多訊息請參考官網:www.mediatek.tw