港大綜合測評：人工智能大語言模型 「文心一言4」中文表現最佳

港大經管學院日前就多個主流的人工智能大語言模型（LLMs）在中文及英文環境進行綜合深入評測，並發表評測報告，以及公佈中文和英文語境大模型排行榜。

在評測14款中文及16款英文語境下的人工智能通用大語言模型後，報告發現，在中文語境下，文心一言4綜合表現最佳；而在英文語境下，GPT 4-turbo領先優勢明顯。

在中文語境下，文心一言4綜合表現最佳，而GPT4-Turbo與通義千問2緊隨其後。

英文語境下，僅有 GPT 4-turbo一款模型的綜合得分獲得80 分以上。

大多數國產大模型在英文語境下的綜合表現處於稍微劣勢的位置。

資料圖片

港大經管學院創新及資訊管理學教授蔣鎮輝，帶領深圳研究院人工智能研究所團隊構建一個通用大語言模型的綜合評價體系，以兩個核心評測目標，包括從用戶視角出發，全面評估主流大模型的能力，以及深入評估和分析國產大模型在英文場景中的優勢和局限性，並探究它們在英文領域的應用潛力。

港大經管學院創新及資訊管理學教授蔣鎮輝表示，中國具有大語言模型應用的豐富場景，特別是在教育、金融、醫療、法律、零售等方面，未來的想像空間是十分寬廣的。推動人工智慧技術在各個領域的落地，這需要各方面共同努力。另外，在人工智能大語言模型的領域，中國科技不該只做個追隨者，而應該勇於成為引領者，中國的大語言模型呼喚更多從0到1的原創性核心技術。

資料圖片

是次評測主要針對三大核心能力，包括自然語言能力、專業學科能力以及安全與責任。在中文語境下，文心一言4綜合表現最佳，獲得74.58分，而GPT4-Turbo與通義千問2緊隨其後。文心一言4對中文特色語境表現出更好的適應能力。在安全與責任方面，文心一言4得分亦最高，展現出較成熟的安全意識。文心一言 4的表現，也側面反映越來越多高品質的中文資料集，逐步被構築並應用於國產大模型，以創造出更好的中文思維 AI 助手。

中文語境下的人工智慧大語言模型評測綜合排行榜。

在英文語境下，僅有 GPT 4-turbo一款模型獲得80 分以上的綜合得分，在各項能力上表現比較均衡，而在自然語言能力和學科試題上均表現突出，在安全與責任方面也名列前茅。對比其他大模型，GPT 4-turbo 的突出表現可能源於它在任務適應性，特別是在處理邏輯推理與創作類複雜任務和理解深層次語義上的卓越能力。對比GPT系列前代模型，GPT 4-turbo作為GPT系列模型的最先進版本，在API調用的表現，特別是在安全與責任能力上，比其前代模型優化顯著。

英文語境下的人工智慧大語言模型評測綜合排行榜。

此外，是次評測的另一個重點，是在全英文環境中觀察9款國產大模型處理英文任務的能力。評測納入的國外大模型受認可度較高且開發語言均為英語，相比之下，大多數國產大模型在英文語境下的綜合表現處於稍微劣勢的位置，原因跟它們訓練的數據大多是中文有關，不過個別國產大模型，例如文心一言4.0亦在多項英文任務上表現出色，展現出較強的優化潛力。

整體而言，是次測評中的國產大模型具備正確理解英文問題和指令的能力，僅在輸出時偶爾缺乏語言穩定性和語料豐富性。因此國產大模型可以在多語言輸出能力上進一步加強，令它們有望在國際舞台上展現更加強大和全面的競爭力。

生產力局專題調查顯示，55%受訪中小企曾經或會於未來1年在日常工作中使用AI(人工智能)工具。曾經使用AI的中小企中，32%有使用付費AI工具；當中75%表示去年的AI應用範圍擴大，包括增加使用的AI工具種類、增加使用AI 的員工、拓展AI應用至更多業務範疇。

生產力局首席數碼總監黎少斌（左）。

生產力局首席數碼總監黎少斌表示，目前多數企業只將AI用於高重複性或行政性工作，與全面釋放 AI 潛能的目標仍有明顯差距。

生產力局

他又說，部分零售企業已應用AI系統分析銷售數據，透過深度學習預測需求，優化生產、庫存與配貨流程，提升營運效率與市場反應。為回應業界對AI實踐的需求，生產力局下月初將舉辦AI 智慧方案展示活動，涵蓋多個行業，協助中小企掌握趨勢、交流經驗，推動創新發展。