經(jīng)濟(jì)觀察網(wǎng) 記者 陳奇杰 7月3日,摩爾線程宣布,將其夸娥(KUAE)智算集群解決方案(下稱“夸娥”)的GPU(圖形處理器)規(guī)模從千卡級(jí)別擴(kuò)展至萬卡。
萬卡級(jí)別的夸娥具備萬P級(jí)算力(1P算力等于每秒1千萬億次浮點(diǎn)運(yùn)算),專為萬億參數(shù)的大模型訓(xùn)練而設(shè)計(jì)。摩爾線程創(chuàng)始人兼CEO張建中說,在AI主戰(zhàn)場(chǎng),萬卡已是最低標(biāo)配。
張建中說,在建設(shè)智算中心的時(shí)候,單點(diǎn)集群至少得是幾萬卡,否則很難訓(xùn)練出一個(gè)世界級(jí)的高質(zhì)量大模型。他舉例,從單點(diǎn)集群看,美國(guó)人工智能研究公司OpenAI已經(jīng)做到5萬張卡左右,谷歌是2.6萬張卡,Meta公司是2.45萬張卡,國(guó)內(nèi)目前還相對(duì)落后。
與此同時(shí),企業(yè)的大模型的準(zhǔn)確度和精度都是客戶選擇的重要標(biāo)準(zhǔn),所以模型的參數(shù)量和數(shù)據(jù)量越大越好。大模型也在不停地迭代,參與大模型競(jìng)爭(zhēng)的用戶都希望能在兩周或最少一個(gè)月內(nèi)完成大模型的迭代。這些都需要更高的算力。
張建中說,建設(shè)萬卡集群需要攻克超大規(guī)模組網(wǎng)互連、穩(wěn)定運(yùn)行、生態(tài)兼容和資金等方面的問題,是一個(gè)很難的系統(tǒng)工程,摩爾線程花了4年才完成。在他看來,摩爾線程不能只做一家GPU芯片公司,而是要成為一家系統(tǒng)平臺(tái)公司。
當(dāng)天,摩爾線程聯(lián)合中國(guó)移動(dòng)通信集團(tuán)青海有限公司、中國(guó)聯(lián)通青海公司、北京德道信科集團(tuán)、中國(guó)能源建設(shè)股份有限公司總承包公司、桂林華崛大數(shù)據(jù)科技有限公司,分別就三個(gè)萬卡集群項(xiàng)目進(jìn)行了戰(zhàn)略簽約。
公開信息顯示,摩爾線程成立于2020年10月,是一家以GPU芯片設(shè)計(jì)為主的集成電路高科技公司,其創(chuàng)始人張建中曾擔(dān)任英偉達(dá)全球副總裁、中國(guó)區(qū)總經(jīng)理。2023年12月,基于MTTS4000大模型智算加速卡,摩爾線程推出了以夸娥智算集群為核心的智算中心產(chǎn)品組合,以打造大模型和通用人工智能的算力基礎(chǔ)設(shè)施。