開源還是閉源？這是屬于大模型的時代之問。

今年年初，埃隆·馬斯克在對OpenAI及其CEO薩姆·奧特曼提起訴訟時，就對OpenAI逐漸不公開其模型研究相關(guān)細節(jié)的行為大加譴責。“時至今日，OpenAI公司網(wǎng)站還宣稱，它的宗旨是確保通用人工智能造福全人類。然而，在現(xiàn)實中，OpenAI已經(jīng)轉(zhuǎn)變?yōu)榭萍季揞^微軟事實上的閉源子公司。”這位曾經(jīng)的OpenAI聯(lián)合創(chuàng)始人如此表示。

OpenAI不夠“Open”，Meta卻“Open”了自己最新的開源人工智能模型。

4月18日，Meta 發(fā)布了其最新版本的開源大模型 Llama 3，引起開源AI社區(qū)的一陣歡呼。巧合的是，Llama 3發(fā)布當天正好是AI領(lǐng)域頂尖學者、AI開源倡導者吳恩達的生日。“（Llama 3是）至今為止最好的禮物，謝感謝Meta！”他說。

行至2024，開閉源之爭日漸白熱化。閉源陣營以目前最強的OpenAI為代表，開源陣營Meta的LLaMa、Mistral和Google等也在不斷迭代。閉源陣營堅持對Scaling Law的信仰，押注在更強通用模型的打造上；開源陣營模型能力不斷提升，并且強調(diào)以更垂直的性能、更靈活的配置來推動大模型商業(yè)化落地。

關(guān)于應該選擇模型開源還是閉源討論經(jīng)久不息。

對于局內(nèi)人，這一選擇這不僅決定了他們將如何點亮AI“科技樹”，更將影響他們的商業(yè)路線選擇。換言之，這很有可能是這個殘酷競爭市場下的生存問題。

兩個版本，多重驚喜

Meta此次發(fā)布的Llame 3包括8B和70B的預訓練和指令微調(diào)版本。

據(jù)Meta官網(wǎng)信息，Llama 3 模型將數(shù)據(jù)和規(guī)模提升到新的高度。它在兩個定制24K GPU集群上基于超過 15T 的數(shù)據(jù)進行了訓練——訓練數(shù)據(jù)集是Llame 2使用量的7倍有余。它支持 8K 上下文長度，是 Llama 2 容量的兩倍。

除了 Llama 3，Meta 還發(fā)布了新的信任和安全工具，包括Llama Guard 2、Code Shield和 CyberSec Eval 2。

據(jù)悉，Llama 3 即將在AWS（Amazon web service）、Databricks、Google Cloud、Hugging Face、Kaggle、IBM WatsonX、 Microsoft Azure等主要云提供商、模型 API 提供商平臺上線，Llama還得到AMD、AWS、戴爾、英特爾、NVIDIA和高通提供的硬件平臺的支持。

在官網(wǎng)上，Meta還放出了Llama 3兩個版本與谷歌Gemma、谷歌Gemini、Mistral、Anthropic的Claude 3等競爭對手的參數(shù)對比。據(jù)Meta官網(wǎng)，Llame 3在MMLU（學科知識理解）、GPQA（一般問題）、HumanEval（代碼能力）、GSM-8K（數(shù)學能力）、MATH（比較難的數(shù)學問題）5個評測集上均表現(xiàn)良好。

值得注意的是，Llama3的代碼能力非常優(yōu)秀。

在AI領(lǐng)域公眾號“數(shù)字生命卡茲克”主理人卡茲克分享的用戶實測中，Llama3-8B能夠給出國際象棋中經(jīng)典皇后問題的解題代碼。而其前代版本Llama2需要專門的代碼模型才能實現(xiàn)。

市場的反應速度很快。18日當天，Meta股價逆勢收漲1.54%。次日，百度智能云千帆大模型平臺開放邀約測試，提供針對Llama 3的訓練推理方案，幫助開發(fā)者訓練專屬大模型。

8B 和 70B 兩個型號的模型，僅僅標志著 Llama 3 系列的開端，Meta AI首席科學家楊立昆在其社交媒體透露，在接下來的幾個月，還會有更多版本陸續(xù)發(fā)布。

英偉達高級科學家Jim Fan認為之后可能會發(fā)布的Llama 3-400B以上的版本將成為某種“分水嶺”，開源社區(qū)將能用上GPT-4級別的模型。

不下牌桌，各顯神通

上一輪元宇宙競爭中被認為可能跌進坑里的Meta，在人工智能的牌桌上打出了Llama系列這把好牌。要討論Llama3帶來的行業(yè)震蕩，首先要明白，什么是大模型領(lǐng)域的開源？

大模型領(lǐng)域的開源通常意味著模型的架構(gòu)、訓練代碼和預訓練權(quán)重等都被公開，允許研究人員和開發(fā)者自由地訪問和使用。

不過，開源的程度因模型而異。“有些可能只提供有限的訪問權(quán)限或部分代碼。”郭濤指出，判斷大模型是否真正開源的基準可能包括：代碼和數(shù)據(jù)的可訪問性、使用許可的寬松程度、社區(qū)支持的活躍度以及對改進和新應用的開放性。

放眼AI界，兩條路徑上都各有“頭號玩家”分布。閉源自不必說，海外有OpenAI旗下的ChatGPT，國內(nèi)是百度的文心一言以及風頭正勁的月之暗面Kimi。

而開源方面，除了Llama系列，目前應用較廣的開源大模型還包括非營利組織LAION推出的OpenFlamingo、Databricks的Dolly，以及MosaicML的MPT等。國內(nèi)則包括，阿里巴巴的通義千問，智譜的ChatGLM-4、百川智能的baichuan-7B中英文大模型、北京智源悟道3.0大模型系列和面壁智能的CPM-Bee 10B中文基座大模型等。

形成這樣的分化，很多時候是受技術(shù)進步和商業(yè)模式迭代等的多重影響。

天使投資人、資深人工智能專家郭濤認為，從技術(shù)角度來看，開源可以促進學術(shù)界的研究和創(chuàng)新，而閉源則有助于在一定時間內(nèi)保持技術(shù)領(lǐng)先優(yōu)勢。

從商業(yè)角度來看，開源可以吸引開發(fā)者社區(qū)的貢獻，促進技術(shù)的快速迭代和應用的廣泛傳播，但可能會影響到公司的盈利模式。閉源則可以保護知識產(chǎn)權(quán)，為公司創(chuàng)造直接的收入來源，但可能會限制技術(shù)的普及和生態(tài)的建設(shè)。

事實上，在Llama3發(fā)布之前，中文互聯(lián)網(wǎng)剛剛經(jīng)歷了一輪開閉源論戰(zhàn)。

據(jù)媒體報道，百度CEO李彥宏近日表態(tài)，認為大模型開源意義不大，閉源模型性能會不斷提升。“有了文心大模型4.0，我們可以根據(jù)需要兼顧效果、響應速度、推理成本等各種考慮，裁剪出適合各種場景的更小尺寸模型，且支持精調(diào)和post pretrain。通過降維裁剪出的模型，比直接拿開源調(diào)出來的模型，同等尺寸下效果更好，同等效果下成本明顯更低。”

李彥宏一直是閉源路線的忠實擁躉，理由包括但不限于認可閉源商業(yè)模式可以更好地聚集人力和財力等。

而其反對者——360創(chuàng)始人周鴻祎言簡意賅，“一句話，今天沒有開源就沒有 Linux，沒有 Linux 就沒有互聯(lián)網(wǎng)。”

“源神”啟動，影響幾何？

“Llama 3的發(fā)布會帶來市場格局的改變。”郭濤在接受21記者采訪時指出，其優(yōu)異表現(xiàn)可能吸引更多的用戶和投資者，從而增加其市場份額。

官網(wǎng)顯示，Llama 3將有條件地開源給商業(yè)使用（月活用戶超過7億需要單獨申請）。“不過這基本等于完全免費商用了。”卡茲克表示。

此前，投資人朱嘯虎曾經(jīng)就人工智能市場相關(guān)話題接受騰訊新聞采訪。當被問及2023年大模型發(fā)展的關(guān)鍵節(jié)點時，他給出的回答正是Llama上線。這讓中國在應用層面創(chuàng)新有了基礎(chǔ)，降低了商業(yè)化門檻。

當然，朱嘯虎提到的變現(xiàn)是指開源生態(tài)內(nèi)的用戶。對于開源大模型發(fā)布者的能否盈利，或者能等來盈利機會，很多時候并沒有確定的答案。

閉源大模型通常通過授權(quán)使用、訂閱服務(wù)或者直接銷售產(chǎn)品來盈利。其中的代表便是AI領(lǐng)域的領(lǐng)跑者OpenAI，雖然其一直有推進開源項目的動作，但其處在核心地位的ChatGPT卻一直采取收取API許可費的方式向其他公司提供服務(wù)。在API服務(wù)過程，其他公司不會接觸到ChatGPT模型的細節(jié)和源代碼，僅僅通過API接口進行調(diào)用。

創(chuàng)業(yè)者服務(wù)平臺GoDaddy對全美1003家小型企業(yè)的調(diào)查數(shù)據(jù)顯示，ChatGPT以70%的應用率成為美國小型企業(yè)應用最多的生成式AI產(chǎn)品，這說明OpenAI選擇的閉源模式的商業(yè)化之路在一定程度已經(jīng)跑通。

開源模型如何尋求生存和發(fā)展的機會？

首先是以開放的生態(tài)吸引用戶。國盛證券研報就指出，開源大模型借助更大標識符訓練數(shù)據(jù)集、DeepSpeed、RLHF等方式，實現(xiàn)低訓練成本和高性能，超大模型以下大模型的壁壘正在消失。

“在擁有用戶后，開源大模型通常通過提供增值服務(wù)、定制開發(fā)、技術(shù)支持等方式來實現(xiàn)盈利”。郭濤指出，公司可以在開源模型的基礎(chǔ)上提供專業(yè)的訓練服務(wù)或者定制化的應用解決方案。

對于Meta甚至眾多開源者而言，開源的野心不僅是短期的商業(yè)變現(xiàn)，其更想引領(lǐng)規(guī)則設(shè)計以及搭建生態(tài)。 有業(yè)內(nèi)專家分析，開源后壁壘并沒有那么容易破除，高質(zhì)量、標注過的訓練數(shù)據(jù)集尤其是專業(yè)模型的壁壘。

星紀魅族集團數(shù)據(jù)合規(guī)執(zhí)行總監(jiān)朱玲鳳表示，目前有些開源AI由頭部公司主導，“越多人使用，就越能強化網(wǎng)格效應，而且不是真正的開放，后續(xù)需要使用它們的配套工具、配套服務(wù)。頭部公司還可能利用監(jiān)管豁免的方式，獲得尋租空間。”換言之，以開源為噱頭的巨頭游戲，可能會進一步強化大公司的壟斷地位，反而不利于產(chǎn)業(yè)競爭。

據(jù)報道，去年4月，在扎克伯格與分析師的一次電話會議中，他就談到，如果行業(yè)能夠在Meta使用的基礎(chǔ)工具上達成標準化，那么meta就能從其他人的改進中受益。同年5月，谷歌內(nèi)部泄露的文件《我們沒有護城河，OpenAI也沒有》在SemiAnalysis網(wǎng)站上傳播，其中的觀點包括，比起開源社區(qū)需要谷歌，谷歌更需要開源社區(qū)等等。文章作者指出，不同開源模型所組成的生態(tài)系統(tǒng)永遠是OpenAI的潛在競爭對手，與開源AI競爭的結(jié)果必然是失敗。

Meta落子，戰(zhàn)局生變。大模型的路線之爭會不會迎來真正的勝利者？

“開源與閉源大模型之間不太可能分出絕對的輸贏，因為它們各自適合不同的應用和場景。”郭濤認為，開源大模型更適合那些需要快速創(chuàng)新和大規(guī)模協(xié)作的項目，而閉源大模型可能更適合那些對性能和安全性有極高要求的商業(yè)應用。

來源：21世紀經(jīng)濟報道 作者：馮戀閣,王俊,實習生孔雅萱