經(jīng)濟(jì)觀察網(wǎng) 記者 黃一帆 “現(xiàn)在很多設(shè)備廠商非常焦慮。”9月26日，巖芯數(shù)智董事長(zhǎng)陳代千在接受采訪時(shí)告訴經(jīng)濟(jì)觀察網(wǎng)，目前人工智能領(lǐng)域發(fā)展迅速，“他們擔(dān)心，如果自身不進(jìn)行智能設(shè)備的開發(fā)與嘗試，友商很有可能會(huì)做，自己就會(huì)被遠(yuǎn)遠(yuǎn)甩下。”

陳代千說(shuō)，在過(guò)去的一段時(shí)間里，多家不同行業(yè)的設(shè)備廠商找到公司，要求將大模型部署到其設(shè)備上。這些設(shè)備廠商通常不具備大模型的基因和部署能力。目前，巖芯數(shù)智度對(duì)外公開了包括機(jī)器人、無(wú)人機(jī)、PC在內(nèi)的數(shù)款端側(cè)AI設(shè)備。

隨著人工智能技術(shù)的快速發(fā)展，大模型的競(jìng)爭(zhēng)正在從技術(shù)驅(qū)動(dòng)過(guò)渡到市場(chǎng)驅(qū)動(dòng)。在此背景下，業(yè)界在關(guān)注重要產(chǎn)品發(fā)布的同時(shí)，還聚焦大規(guī)模產(chǎn)業(yè)應(yīng)用和成本控制。

“所謂端側(cè)模型指的是那些不需要聯(lián)網(wǎng)就能運(yùn)行的AI模型，它們依靠設(shè)備本身的計(jì)算能力來(lái)執(zhí)行任務(wù)。這類模型在過(guò)去的一年里備受矚目，業(yè)內(nèi)看好端側(cè)AI能夠成為推動(dòng)AI普及的關(guān)鍵因素。”浙江大學(xué)人工智能系主任楊洋說(shuō)，“大模型非常依賴算力。我們一直在思考怎樣讓更多玩家參與到AI產(chǎn)業(yè)中來(lái)，以此讓整個(gè)大模型生態(tài)有所發(fā)展。”

端側(cè)設(shè)備等待大腦

在巖芯數(shù)智的辦公室內(nèi)，擺滿了眾多的各類硬件設(shè)備。

陳代千說(shuō)，目前有大量的適配和兼容工作需要完成，而一旁來(lái)自深圳各個(gè)廠商的機(jī)器人也在等待適配他們的“大腦”。

“這些設(shè)備大多是客戶提供給我們，他們要求在端側(cè)部署大模型。”陳代千說(shuō)，在端側(cè)，如果采用云端方案，會(huì)給設(shè)備帶來(lái)比較嚴(yán)重的延遲效果。“客戶在與設(shè)備進(jìn)行交互時(shí)，設(shè)備可能要等待七八秒才能有所反應(yīng)。”

端側(cè)AI并非新事物，2020年時(shí)任華為諾亞方舟實(shí)驗(yàn)室技術(shù)專家王云鶴便分享過(guò)端側(cè)AI模型的技術(shù)發(fā)展。

近年來(lái)手機(jī)廠商們紛紛推出主打AI功能的手機(jī)，旨在通過(guò)AI拍照、智能交互、個(gè)性化推薦等功能提升用戶體驗(yàn)。而汽車廠商則更加關(guān)注自動(dòng)駕駛技術(shù)的實(shí)現(xiàn)，以及如何通過(guò)AI技術(shù)提升駕駛安全性、舒適性和智能化水平。

“與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使用算力進(jìn)行運(yùn)行，無(wú)需依賴云端算力。”一位國(guó)內(nèi)大模型廠商告訴記者。

騰訊研究院高級(jí)研究員李瑞龍也認(rèn)為，輕量級(jí)模型和端側(cè)模型都旨在降低模型的計(jì)算復(fù)雜度和存儲(chǔ)需求，以便在資源受限的設(shè)備上高效運(yùn)行。在實(shí)現(xiàn)方法上，端側(cè)模型側(cè)重于將輕量化技術(shù)應(yīng)用于終端設(shè)備上，以實(shí)現(xiàn)快速響應(yīng)和低延遲。

而除了延遲問(wèn)題外，在將云端模型應(yīng)用到設(shè)備上時(shí)，廠商還將面臨數(shù)據(jù)“閹割”。巖芯數(shù)智CMO鄒佳思告訴記者，“由于物理存儲(chǔ)空間和運(yùn)行內(nèi)存的限制，設(shè)備端模型不可能像云端一樣到千億、萬(wàn)億參數(shù)。一個(gè)30億參數(shù)的無(wú)損模型，文件大小約為5G。算力方面，現(xiàn)在主流的Transformer架構(gòu)即使是18億參數(shù)的模型，也需要量化壓縮，否則設(shè)備的處理能力和交互體驗(yàn)都會(huì)有所欠缺”。

一位國(guó)產(chǎn)大模型廠商告訴記者，實(shí)現(xiàn)無(wú)損部署與算力以及網(wǎng)絡(luò)框架有關(guān)。“如果網(wǎng)絡(luò)架構(gòu)相當(dāng)復(fù)雜，就會(huì)需要較多算力，這會(huì)導(dǎo)致該模型在低端的設(shè)備上或者是邊緣端的設(shè)備上很可能無(wú)法運(yùn)行。”

國(guó)內(nèi)多位大模型廠商人士告訴記者，Transformer大模型帶來(lái)一種開發(fā)范式——先通過(guò)預(yù)訓(xùn)練讓大模型具備一定的基本能力，然后在下游任務(wù)中通過(guò)微調(diào)對(duì)齊，激發(fā)模型舉一反三的能力。但目前，大部分Transformer主流大模型受限于資源及算力，只能通過(guò)有損壓縮等“性能閹割”的方式在端側(cè)運(yùn)行，尚且無(wú)法高效運(yùn)轉(zhuǎn)。

今年1月，巖芯數(shù)智推出了自研的大模型Yan。在算法側(cè)，公司使用基于仿生神經(jīng)元驅(qū)動(dòng)的選擇算法，實(shí)現(xiàn)了類腦分區(qū)激活的工作機(jī)制，使大模型可以根據(jù)學(xué)習(xí)的類型和知識(shí)的范圍分區(qū)激活，大幅減少了數(shù)據(jù)訓(xùn)練量。同時(shí)，Yan替換了Attention機(jī)制。目前，巖芯數(shù)智推出新版本具備多模態(tài)能力，處理圖文及語(yǔ)音等多模態(tài)信息。

巖芯數(shù)智方面人士告訴記者，當(dāng)時(shí)該版本已可以實(shí)現(xiàn)在更廣泛設(shè)備端上的離線無(wú)損部署。

巖芯數(shù)智工程總監(jiān)張錦麟告訴記者，“在部分設(shè)備廠商因該模型找到公司后，公司要根據(jù)設(shè)備進(jìn)行結(jié)構(gòu)上的適配。整體工作量并不大，就是讓我們的模型去適配設(shè)備的硬件，以便讓設(shè)備達(dá)到更好的性能”。

端側(cè)AI的可能走向

“隨著國(guó)內(nèi)大模型能力的提升、調(diào)用價(jià)格的下降以及政策上的支持，更多的AI應(yīng)用將會(huì)逐步落地。C端的聊天機(jī)器人、文生圖、文生視頻應(yīng)用正在逐步被接受。B端AI也開始在金融、工業(yè)、軍事、醫(yī)療、教育等領(lǐng)域開始落地。”中信建投分析師于芳博認(rèn)為，AI走向端側(cè)是大勢(shì)所趨。

巖芯數(shù)智CEO劉凡平認(rèn)為，對(duì)于設(shè)備廠商而言，端側(cè)模型是類似Windows操作系統(tǒng)般的存在。現(xiàn)階段可能是系統(tǒng)在適配各種硬件。而在設(shè)備廠商深入了解模型的人工智能能力后，就需要設(shè)備反向兼容操作系統(tǒng)，而兩者合力，是社會(huì)分工生產(chǎn)力變化的一個(gè)必然趨勢(shì)。

“站在To C智能化甚至具身智能的大話題下，端側(cè)模型需要結(jié)合實(shí)際載體（即硬件）去做適配研究和迭代改進(jìn)，才這樣能逐步形成標(biāo)準(zhǔn)化的類Windows操作系統(tǒng)。這樣，端側(cè)模型就可以既裝在個(gè)人電腦，也可以適配穿戴設(shè)備。而不同的‘身體’就會(huì)需要不同的腦子，我們所構(gòu)想的通用人工智能，是在諸如智能手機(jī)、機(jī)器人以及其他多樣化設(shè)備上展現(xiàn)出得非凡適應(yīng)力與高度個(gè)性化的交互能力。”

目前，巖芯數(shù)智嘗試將模型部署到盡可能廣泛的端、邊緣設(shè)備上，以升級(jí)、優(yōu)化其模型算法。

“公司的商業(yè)化將側(cè)重在設(shè)備端的智能化產(chǎn)品交付上。我們要做智能單元大模型，即讓這些設(shè)備成為智能單元，并在此基礎(chǔ)上進(jìn)行迭代，以搭建形成群體智能的生態(tài)。”陳代千告訴記者，上述提及的設(shè)備可能包括掃地機(jī)器人、廚房電器、可穿戴設(shè)備等。

陳代千說(shuō):“在這些設(shè)備上，我們會(huì)和不同的廠商去合作，嘗試部署大模型。”

不過(guò)，他補(bǔ)充說(shuō)，本質(zhì)上，公司不想只做端側(cè)大模型。“公司一定要做到在端上能同步學(xué)習(xí)。”

據(jù)了解，巖芯數(shù)智的同步學(xué)習(xí)仍在實(shí)驗(yàn)室最后驗(yàn)證階段，仍需要大規(guī)模測(cè)試。劉凡平表示，Yan 2.0預(yù)計(jì)需6個(gè)月時(shí)間面世。