開源VS閉源，Meta“格局打開”的同時打開了大模型競賽新路

1998年，Christine Peterson首次提出“開源軟件”（Open Source Software）概念，自此，開源在全球蓬勃發(fā)展。二十多年過去，曾經(jīng)口口聲聲喊著“開源軟件是毒瘤”的微軟成為了“開源”的擁躉，Red Hat、SUSE等企業(yè)大力開發(fā)“開源”的樂土也由此獲得巨大的成功。

(資料圖片)

直至今日，我們看到開源技術愈發(fā)成熟，開源理念深入人心，越來越多的人投身于開源生態(tài)的建設當中。與此同時，關于“開源”與“閉源”之爭在各個領域也都輪番上演，永不停歇。

當下，在全球的大模型競賽中，也迎來了開、閉源的一次“交鋒”。

上個星期，在微軟的Inspire 合作伙伴大會上，Meta宣布和微軟深化合作，正式推出新一代開源大型語言模型Llama 2，并宣稱這一模型將免費開放給商業(yè)和研究使用。

Meta創(chuàng)始人扎克伯格在Facebook上發(fā)帖表示：“Meta有著悠久的開源歷史，開源推動創(chuàng)新，它讓更多開發(fā)人員能夠使用新技術進行開發(fā)，同時提高了技術的安全性。我們相信如果生態(tài)系統(tǒng)更加開放，將會帶來更多進步，這就是我們開源 Llama 2 的原因。”

顯而易見，Meta正在致力于打破OpenAI和谷歌正在構建的技術高墻，力圖通過生態(tài)的開放打造一個真正“open”的AI產(chǎn)業(yè)。由此，大模型的競逐，也再次迎來了新的發(fā)展局面。

01

Llama 2：能力超越 GPT-3，不及 GPT-3.5

什么是 Llama 2？

Llama 2是Meta今年3月初發(fā)布的 Llama 大模型的“升級”版本，相較于Llama 1，新版Llama 2 在模型規(guī)模、訓練數(shù)據(jù)量、數(shù)據(jù)質量、訓練技術、模型結構、安全訓練等多個方面進行了全面提升。

（Llama 2與Llama 1對比）

首先在模型規(guī)模上，據(jù)扎克伯格介紹，Llama 2的參數(shù)分別為70億，130億和700億三個版本。Llama 2 預訓練模型接受了2萬億個 tokens 的訓練，上下文長度是 Llama 1 的兩倍，其微調模型已經(jīng)接受了超過 100 萬個人類注釋的訓練。此外，其還將單條文本的最大長度從2048個token 提升至4096 個token，更長的文本輸入這也就意味著可以包含更多上下文信息，從而提升模型的理解能力。

在訓練數(shù)據(jù)量上，官方數(shù)據(jù)顯示，Llama 2比Llama 1預訓練的數(shù)據(jù)多40%，并對其架構進行了改進。據(jù)悉，Llama 2 采用了分組查詢注意力機制（grouped-query attention），可以顯著降低計算和內(nèi)存需求，提高大型模型推理的可擴展性及速度。

在安全性和質量方面，Meta研究人員在一篇概述Llama 2的論文中表示：“我們已經(jīng)采取措施提高這些模型的安全性，使用特定于安全性的數(shù)據(jù)注釋和調整，以及進行使用迭代評估。”據(jù)介紹，Llama 2應用了有監(jiān)督的微調和RLHF。

Meta聲稱，Llama 2 在許多外部基準測試中都優(yōu)于Llama 1和其他開源大語言模型，包括推理、編碼、熟練程度和知識測試。

來自伯克利大學的人工智能專業(yè)博士Nathan Lambert在自己的博客中對Meta發(fā)表的Llama 2的論文發(fā)表了自己的看法。他表示，Llama 2模型評估結果令人興奮不已，在經(jīng)過基準測試后，Llama 2已經(jīng)超越 GPT-3，在推理任務上，Llama 2 接近GPT-3.5，確定是第一個能達到ChatGPT水平的開源模型。

Nvidia高級AI科學家Jim Fan估測Llama-2的訓練費用可能超過 2000 萬美元，他表示，在“HumanEval”（標準編碼基準）上，Llama-2 還與GPT-3.5存在顯著差距，它還不如 StarCoder 或其他許多專門為編碼而設計的模型。

盡管在能力方面，Llama-2還不及GPT-3.5，但它的意義不止于此，最令業(yè)內(nèi)激動的地方，在于它免費開放給商業(yè)和研究使用。

當下， Meta已開源了Llama 2預訓練模型的代碼和參數(shù)，并開放了商業(yè)使用許可。值得注意的是，月活量超過7億的產(chǎn)品需要另外申請商用許可。

作為Llama 2的首選合作伙伴微軟，Meta 表示，Llama 2 可在 Azure AI 模型目錄中使用，當然，也可通過Amazon Web Services（AWS）、Hugging Face和其他提供商獲取使用。

02

格局打開？大模型競逐新局面到來

對于此次Meta將免費將 Llama 2開放給商業(yè)和研究使用，不少人評論道：“格局打開了”，相較于走閉源路線的OpenAI，Meta真正做到了“Open”。

對于愈發(fā)激烈的大模型競賽而言，這又意味著什么？

用圖靈獎得主、Meta 首席人工智能科學家 Yann LeCun的話來說，Meta此舉或將改變大模型行業(yè)的競爭格局。

如果說 OpenAI發(fā)起了大模型的競賽開始，那么，Meta則打開了大模型競逐的新局面，開源大模型的新路由此開辟。

開源的意義在哪里？小米副總裁崔寶秋曾指出，開源的本質是協(xié)同和創(chuàng)新，協(xié)同是全世界所有人各方開源力量的協(xié)同，創(chuàng)新是一個技術的創(chuàng)新。

簡單來說，開源大模型將能匯聚更多的技術創(chuàng)新力量，在這里，全球開發(fā)者、研究機構、科技企業(yè)將一同協(xié)同共建，大家一塊讓模型的數(shù)據(jù)更加豐富、模型更加優(yōu)化、工具更加完善、應用更加全面...可以說是“眾人拾柴火焰高”，從而加速大模型技術的迭代升級、應用的豐富發(fā)展，為大模型的發(fā)展方向打開更多的可能性，同時也惠及更多的人群。

此外，開源也就意味著個人開發(fā)者和中小型企業(yè)能夠以最低的成本調用Llama 2大模型，而不是花費高昂的成本采購閉源大模型，這也有利于開源大模型用戶的吸納與培養(yǎng)以及大模型開源生態(tài)的構建。

據(jù)悉，當下開源社區(qū)Hugging Face已成為“頂流中的頂流”，其上面有超 25 萬個模型，包括 Meta 的Llama 2、國內(nèi)搜狐創(chuàng)始人王小川創(chuàng)立的百川智能的大語言模型“百川”。

可以說，開源是吸納、培養(yǎng)用戶、確定行業(yè)標準的重要途經(jīng)，也是避免當下AI大模型企業(yè)一輪又一輪重復造輪子、低成本試錯的理想商業(yè)化手段。

03

開源vs 閉源：兩者并非選擇題

開源大模型出現(xiàn)后，隨之而來的便是一道選擇題：模型的底座選擇到底是開源還是閉源？

盡管開源“免費的飯很香”，但也并非不存在問題，或者說，在很多層面，閉源大模型仍保持著領先優(yōu)勢。

一方面，在模型質量上，閉源大模型的質量更高，比如說最前沿的GPT-4便是閉源大模型，正如前文所言，哪怕是當下可以說是最強勢的Llama-2 還與GPT-3.5存在顯著差距。

數(shù)據(jù)顯示，在學術界廣為引用的、由斯坦福大學計算機系研究團隊發(fā)表的《Holistic Evaluation of Language Models》論文中，對國外30個主流語言模型在準確率、魯棒性、公平性、推理等主要指標進行評測，便發(fā)現(xiàn)：開源（Open）模型在大多數(shù)指標上表現(xiàn)弱于閉源（Close）或部分開源（Limited）的模型。

另一方面，大模型最終指向的還是產(chǎn)業(yè)落地，在商業(yè)化落地上，閉源大模型的能力更強。大模型要想落地就必須與企業(yè)業(yè)務相結合，這需要專業(yè)的人提供專業(yè)的服務能力，讓大模型的能力與業(yè)務場景完美融合，并非一朝一夕的事情，需要長期賦能，這不是免費的開源大模型能做到的事情。

此外，大多數(shù)的開源大模型是“站在巨人肩膀上”推出的，也就是說處于領先水平的開源模型都是由大企業(yè)開發(fā)，話語權也都掌握在他們手中，繁榮的背后也存在著一絲不確定性。

換言之，著眼當下，閉源大模型是大模型落地商業(yè)化更優(yōu)的選擇，但這不代表，只能選擇閉源大模型，放眼未來，開源大模型是讓AI普惠化實現(xiàn)的重要方向。

俗話說，小孩子才做選擇，大人的世界是全都要，開源與閉源并非選擇題，也正如百川智能創(chuàng)始人王小川所言：“今天不能簡單的說我們未來大模型就是走向OpenAI——閉源的中心化的模型。開源實際上是具備著很大的可能性，有可能蘊含著極大商業(yè)模式和價值。”

總言之，在大模型這場競賽中，我們期待看到閉源大模型深扎產(chǎn)業(yè)，讓AI的智能力量真正飛入“千萬家”，也期待著開源大模型根深葉茂，肆意生長為大模型的迭代、AI產(chǎn)業(yè)的發(fā)展開拓更多的想象空間。

關鍵詞：