經(jīng)濟(jì)觀察網(wǎng) 記者 錢玉娟 在7月5日舉行的世界人工智能大會(WAIC)“芯領(lǐng)未來|智能芯片及多模態(tài)大模型論壇”上,AI感知與邊緣計算芯片平臺公司愛芯元智發(fā)布了“愛芯通元AI處理器”,該AI處理器的核心是算子指令集和數(shù)據(jù)流微架構(gòu),有高中低三檔算力,不僅在智慧城市和輔助駕駛兩個場景實(shí)現(xiàn)了量產(chǎn),還在以文搜圖、通用檢測、以圖生文、AI 智能體(AI Agent)等通用大模型產(chǎn)品中應(yīng)用。
經(jīng)濟(jì)觀察網(wǎng)在愛芯元智展區(qū)看到,搭載愛芯通元系列端側(cè)芯片AX630C的設(shè)備,在阿里云通義千問Qwen2.0大模型的支持下,實(shí)現(xiàn)了流暢的人機(jī)對話;而AX650N芯片則和面壁智能的MiniCPM V2.0大模型組合,讓端側(cè)設(shè)備可支持AI模型,實(shí)現(xiàn)圖生文等生成式AI體驗(yàn)。
“智能芯片和多模態(tài)大模型已經(jīng)成為AI時代的‘黃金組合’。”愛芯元智創(chuàng)始人、董事長仇肖莘在演講中稱,大模型的應(yīng)用日益廣泛,為智能芯片的發(fā)展提出了更經(jīng)濟(jì)、更高效、更環(huán)保的要求。設(shè)備是否搭載了具有AI處理器的高效推理芯片,也是關(guān)乎大模型落地的關(guān)鍵點(diǎn)。
創(chuàng)立于2019年的愛芯元智,自研并量產(chǎn)了多類AI芯片,包括智能應(yīng)用芯片、同軸高清發(fā)送(TX)芯片和接收(RX)芯片、數(shù)模混合芯片及微控制單元(MCU)芯片等。
與一些芯片廠商發(fā)力智算中心的策略不同,愛芯元智的業(yè)務(wù)場景布局重點(diǎn)在邊緣側(cè)和端側(cè)。在仇肖莘看來,大模型真正大規(guī)模落地需要云—邊—端三級緊密結(jié)合,而邊緣側(cè)和端側(cè)結(jié)合的關(guān)鍵在于AI計算與感知,這正是愛芯元智的優(yōu)勢所在。
【對話】
經(jīng)濟(jì)觀察網(wǎng):愛芯元智現(xiàn)有芯片能夠支持多大規(guī)模參數(shù)的大模型部署端側(cè)?
仇肖莘:現(xiàn)在能支持7B(即70億個可訓(xùn)練參數(shù))。我們也很關(guān)注蘋果在手機(jī)上落地的大模型量級,因?yàn)樗呀?jīng)證明3B的模型能夠在蘋果的設(shè)備上落地,并且有真實(shí)的應(yīng)用。我們認(rèn)為,將來搭載在邊緣側(cè)和端側(cè)設(shè)備的芯片,基本上就是3B—7B這個參數(shù)量級,可能7B的性能更高一點(diǎn)。
當(dāng)然這只是現(xiàn)階段的性能,其實(shí)AI的發(fā)展是一個芯片和算法聯(lián)合調(diào)優(yōu)的過程。除了芯片的能力要越做越好,能夠支持大模型落地,算法方面也要做更多優(yōu)化,比如輕量化。
此前7B的模型可能無法在3.2T(指每秒可以實(shí)現(xiàn)3.2萬億次運(yùn)算的計算能力)的芯片上運(yùn)行,但是如果芯片搭載了混合精度神經(jīng)網(wǎng)絡(luò)處理器(NPU),它會將同等參數(shù)量下的處理能力和存儲需求都做減法,7B模型在這樣一顆芯片上就能運(yùn)行得起來。
所以,大模型的落地,除了硬件要持續(xù)優(yōu)化,還要有算法優(yōu)化,尤其是從云側(cè)落到邊緣側(cè)的優(yōu)化迭代。
經(jīng)濟(jì)觀察網(wǎng):有一些芯片廠商參與智算中心的建設(shè),雖然有訓(xùn)練大模型的成本,但回報率更高一些。愛芯元智有沒有考慮去做智算中心?
仇肖莘:我們的這種芯片架構(gòu)非常適合AI推理,但智算中心有兩大任務(wù):一個是做訓(xùn)練,另外一個是做推理。
智算中心將來會不會是一個易構(gòu)建的設(shè)施?我覺得有可能,但現(xiàn)階段,我還是希望愛芯元智能夠把邊緣側(cè)和端側(cè)的海量市場先做好。
經(jīng)濟(jì)觀察網(wǎng):在車載芯片之外,愛芯元智會有其他的第二條曲線嗎?
仇肖莘:愛芯元智是一家邊緣側(cè)和端側(cè)的人工智能芯片公司。盡管邊緣側(cè)、端側(cè)跟云數(shù)據(jù)中心相比,是個相對碎片化的市場,但我們的基礎(chǔ)技術(shù)能夠應(yīng)用在不同的細(xì)分賽道,車只不過是其中一個高速增長的賽道。在這之前,我們其實(shí)最先落地的是智慧城市等人工智能物聯(lián)網(wǎng)(AIoT)領(lǐng)域。
車載是我們的第二增長曲線,現(xiàn)在我們已經(jīng)開始落地的第三曲線是邊緣計算。現(xiàn)在很多中央處理器(CPU)服務(wù)器有將自身升級為AI服務(wù)器的較強(qiáng)需求,搭載愛芯元智即插即用的AI加速卡就是一個好辦法,此外還有AI算力盒子、AI一體機(jī)等產(chǎn)品形態(tài)可以為行業(yè)賦能。
經(jīng)濟(jì)觀察網(wǎng):具身智能在去年的WAIC上就火起來了,愛芯元智在這方面有布局嗎?
仇肖莘:我們一直看好這一方向,具身智能需要的技術(shù)就包括視覺處理。機(jī)器人需要各種傳感器,以及一個強(qiáng)大的AI處理器。我們也在跟一些客戶探討,具身智能這樣的產(chǎn)品形態(tài)怎么利用愛芯元智的AI芯片來落地。
不過,必須要明確的是,當(dāng)下具身智能產(chǎn)品形態(tài)還處于一個比較早期的階段。對芯片公司來說,要提前探索并積累一個行業(yè)的技術(shù)訣竅。具身智能和車載雖然可以共用芯片,但是應(yīng)用場景或需要的能力可能不一樣,所以我們需要通過合作來積累一些行業(yè)認(rèn)知,比如對具身智能或者機(jī)器人這樣的產(chǎn)品形態(tài),芯片要特別設(shè)計哪些專用功能?當(dāng)這些問題有了答案,在相關(guān)產(chǎn)品真正起量時,我們就可以推出專用芯片。
所有跟“視覺+AI”相關(guān)的場景應(yīng)用,如果市場足夠大,都會是我們的目標(biāo)場景。
經(jīng)濟(jì)觀察網(wǎng):現(xiàn)在端側(cè)大模型落地的情況怎么樣?
仇肖莘:肯定是在前期探索階段,我認(rèn)為,最先會落地的是車、手機(jī),還有AI PC等。車,是一個需要實(shí)時響應(yīng)的應(yīng)用場景,比如智能駕艙就是AI Agent的典型應(yīng)用場景,比如人機(jī)交互,比如控制駕駛艙功能等。
經(jīng)濟(jì)觀察網(wǎng):自動駕駛(L2)市場目前競爭非常激烈,這種“卷”會向上傳導(dǎo)至作為供應(yīng)商之一的愛芯元智這里嗎?
仇肖莘:市場傳導(dǎo)是客觀存在的,一般會從終端客戶一級一級向上傳。對我們這樣的供應(yīng)商來說,能做的就是降本增效。
怎么降本?如果只做車規(guī)芯片是很難攤平研發(fā)成本的,所以要盡量利用平臺技術(shù),例如我們的人工智能圖像信號處理器(AI-ISP)和NPU等,讓開發(fā)的IP通用,就能增加功能安全等車載專用功能,這樣可以最大程度地攤薄研發(fā)成本。
其實(shí)芯片的生意做到最后都是規(guī)模的生意。光靠車規(guī)芯片產(chǎn)出,量不夠大,所以芯片一定要做成平臺性的生意,將研發(fā)、供應(yīng)鏈成本分?jǐn)偅瑢?shí)現(xiàn)商業(yè)閉環(huán)。
經(jīng)濟(jì)觀察網(wǎng):愛芯元智會以平臺化的邏輯去演練更多的芯片系列?
仇肖莘:愛芯元智要做到一顆芯片盡量覆蓋不同的產(chǎn)品形態(tài)。對碎片化市場,我們不可能為每一個產(chǎn)品形態(tài)都單獨(dú)定義一款芯片,那樣成本就太高了。
從芯片的角度來說,出貨量第一大的是手機(jī),芯片廠商會開各種規(guī)格、檔位的芯片,因?yàn)橐?guī)模足夠大,就可以攤薄研發(fā)成本。但在AIoT領(lǐng)域,絕大部分單一市場的出貨量都不足以支持一顆專用芯片的研發(fā)支出,所以需要芯片具有通用性,即把市場的共性抽象出來,讓芯片能夠覆蓋更多應(yīng)用場景。
對愛芯元智來說,感知視覺和AI成為很多產(chǎn)品形態(tài)的剛需,此外,低功耗、高能效比也逐漸被市場重視。當(dāng)這些共性被提煉,當(dāng)一顆芯片能夠覆蓋足夠多的場景,芯片企業(yè)就擁有了盈利的空間。