撰文?/ 周 洲

編輯?/ 黃大路

設(shè)計(jì)?/ 師 超

特斯拉禍不單行。一邊全球大裁員，一邊經(jīng)歷“黑色星期五”。

4月19日，美股AI概念股們迎來(lái)了慘烈的“黑色星期五”。

英偉達(dá)暴跌10%，每股跌近85美元，創(chuàng)2020年3月16日以來(lái)最大單日跌幅，刷新歷史最大單日跌幅紀(jì)錄。競(jìng)爭(zhēng)對(duì)手AMD大跌5.4%，芯片設(shè)計(jì)公司Arm跌近17%，晶圓代工龍頭臺(tái)積電稍微好一點(diǎn)，跌超3%。

作為上述芯片供應(yīng)商的客戶，特斯拉也未能幸免，本周跌幅居首，大跌超過(guò)14%，市值在4月15日一天就蒸發(fā)304.33億美元（約合人民幣超2200億元）。

瑞穗證券駐場(chǎng)分析師喬丹·克萊因（Jordan Klein）表示，芯片領(lǐng)域“整個(gè)行業(yè)出現(xiàn)回撤”，過(guò)去一周左右時(shí)間里，回撤速度一天比一天快。

這對(duì)于正在加碼AI的特斯拉來(lái)說(shuō)是個(gè)雪上加霜的壞消息。

2023年9月，摩根士丹利還曾預(yù)判，特斯拉用于訓(xùn)練自動(dòng)駕駛汽車人工智能模型的超級(jí)計(jì)算機(jī)Dojo可能會(huì)給這家電動(dòng)汽車制造商帶來(lái)“不對(duì)稱優(yōu)勢(shì)”，使其市值增加近6000億美元。

自2022年年底開(kāi)始，AI 應(yīng)用全面爆發(fā)、勢(shì)不可擋，如今卻遭到機(jī)構(gòu)對(duì)AI投資熱潮回調(diào)。特斯拉重金投入的Dojo超級(jí)計(jì)算機(jī)項(xiàng)目芯片研發(fā)進(jìn)展不理想，在無(wú)法All in的現(xiàn)實(shí)中，馬斯克聰明地作了兩手準(zhǔn)備：儲(chǔ)備了足夠多的僅次于扎克伯格Meta的英偉達(dá)芯片。

一位業(yè)內(nèi)人士對(duì)汽車商業(yè)評(píng)論稱，從一開(kāi)始就對(duì)馬斯克自研芯片不太看好。

“Dojo所用的是一種用于大模型訓(xùn)練的服務(wù)器芯片，與在汽車上運(yùn)行的軟件不同。其次，它（特斯拉）還沒(méi)有準(zhǔn)備好，制造芯片很不容易，需要時(shí)間積淀。我覺(jué)得像其他人一樣購(gòu)買現(xiàn)成的芯片是最好的路徑。”這位人士稱。

自建“道場(chǎng)”

特斯拉在2021年的“人工智能日”（AI Day）上發(fā)布了Dojo，公布了自研芯片D1。

這是特斯拉用于云端訓(xùn)練AI模型的超級(jí)計(jì)算機(jī)，名字來(lái)源于日語(yǔ)，寓意為“道場(chǎng)”，象征著它是作為訓(xùn)練AI的地方。

Dojo旨在成為世界上最快的計(jì)算機(jī)之一，能夠處理海量的視頻數(shù)據(jù)，從而加速特斯拉Autopilot和全自動(dòng)駕駛系統(tǒng)（FSD）的學(xué)習(xí)和改進(jìn)，也為特斯拉的人形機(jī)器人Optimus提供計(jì)算支持。

Dojo的核心是特斯拉自主設(shè)計(jì)制造的神經(jīng)網(wǎng)絡(luò)訓(xùn)練芯片D1以及基于該芯片構(gòu)建的訓(xùn)練模塊、系統(tǒng)托盤和ExaPOD集群。

D1芯片采用臺(tái)積電7納米工藝制造，這款芯片集成了500億個(gè)晶體管，并擁有354個(gè)訓(xùn)練節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)都包含一個(gè)處理器核心、一個(gè)高速緩存、一個(gè)高帶寬內(nèi)存和一個(gè)高速互連。D1芯片的峰值算力高達(dá)362TFLOPS，帶寬達(dá)到36 TB/s。

為了進(jìn)一步提高算力，特斯拉將25顆D1芯片進(jìn)行無(wú)縫連接，形成一個(gè)訓(xùn)練模塊。每個(gè)訓(xùn)練模塊的峰值算力可達(dá)9PFLOPS，帶寬為900GB/s。

這些訓(xùn)練模塊構(gòu)建了一個(gè)高密度、高性能、高可靠的系統(tǒng)托盤，每個(gè)托盤可容納10個(gè)訓(xùn)練模塊，并配備相應(yīng)的電源、冷卻和網(wǎng)絡(luò)設(shè)備。每個(gè)系統(tǒng)托盤的峰值算力達(dá)到90 PFLOPS，帶寬為9 TB/s。

最后，基于系統(tǒng)托盤，特斯拉構(gòu)建了一個(gè)ExaPOD集群。每個(gè)集群由10個(gè)系統(tǒng)托盤組成，安裝在一個(gè)機(jī)柜中。一個(gè)ExaPOD機(jī)柜模型的峰值算力高達(dá)900 PFLOPS，帶寬為90 TB/s。

作為Dojo落地形式的ExaPOD，由3000片D1芯片構(gòu)成，單精度算力為1.1EFlops。

根據(jù)特斯拉的公開(kāi)資料，Dojo基于特斯拉自研D1芯片，用于替代基于英偉達(dá)A100的數(shù)據(jù)中心。截至2022年9月，該數(shù)據(jù)中心有1.4萬(wàn)片A100，是全球第七大數(shù)據(jù)中心。

特斯拉計(jì)劃2023財(cái)年大概出貨4萬(wàn)-5萬(wàn)片D1，2023年7月第一個(gè)ExaPOD已經(jīng)投入運(yùn)營(yíng)，且預(yù)計(jì)在短期內(nèi)向Palo Alto數(shù)據(jù)中心投入6個(gè)ExaPOD，算力共7.7EFlops。到今年四季度，Dojo算力目標(biāo)是達(dá)到100EFlops（約91個(gè)集群）。

在2023年7月下旬的二季度電話會(huì)議中，馬斯克表示沒(méi)必要自造芯片，“如果英偉達(dá)能夠給我們足夠的GPU，也許我們就不需要Dojo，但他們無(wú)法滿足我們的需求。”

在自研的重要節(jié)點(diǎn)上，2023年11月，負(fù)責(zé)Dojo超算項(xiàng)目的負(fù)責(zé)人、同時(shí)也是特斯拉自動(dòng)駕駛硬件高級(jí)總監(jiān)加內(nèi)什·文卡塔拉馬南（Ganesh Venkataramanan）離職，職位由前蘋果高管彼得·班農(nóng)（Peter Bannon）負(fù)責(zé)。彼時(shí)有消息稱，很可能是因?yàn)镈ojo第二代芯片未達(dá)標(biāo)，加內(nèi)什遭到解雇。

加內(nèi)什此前負(fù)責(zé)特斯拉Dojo超算項(xiàng)目已達(dá)5年，在進(jìn)入特斯拉之前，他曾在美國(guó)知名半導(dǎo)體公司AMD任職近15年。

加內(nèi)什的離職，被認(rèn)為是特斯拉自研芯片不力，或者沒(méi)有設(shè)想中那么順利。

對(duì)馬斯克來(lái)說(shuō)，他能采取的措施就是一邊想辦法自研，一邊購(gòu)買合適的芯片。

設(shè)想與現(xiàn)實(shí)

一位網(wǎng)名為 “whydoesthisitch”的深度學(xué)習(xí)科研人員研究AI芯片已久，他解析了馬斯克的Dojo無(wú)法依靠自研芯片的原因。

他認(rèn)為，Dojo 仍可能處于相對(duì)早期的開(kāi)發(fā)階段，即使它加緊追趕，在性能方面仍將落后英偉達(dá)4 年以上。

今年3月20日，英偉達(dá)投下了Blackwell B200 炸彈，這是下一代數(shù)據(jù)中心和 AI GPU，將使得計(jì)算能力獲得巨大的代際飛躍。

Blackwell 包含三個(gè)部分：B100、B200 和 Grace-Blackwell 超級(jí)芯片 (GB200)。

新的 B200 GPU 擁有 2080 億個(gè)晶體管，可提供高達(dá) 20petaFlops 的 FP4 算力；GB200 將兩個(gè) GPU 和一個(gè) Grace CPU 結(jié)合在一起，可為 LLM 推理工作負(fù)載提供 30 倍的性能，同時(shí)還能大大提高效率。

英偉達(dá)表示，與 H100 相比，它的成本和能耗“最多可降低 25 倍”。訓(xùn)練一個(gè) 1.8 萬(wàn)億個(gè)參數(shù)的模型以前需要 8000 個(gè) Hopper GPU 和 15 兆瓦的電力，如今，2000 個(gè) Blackwell GPU 就能完成這項(xiàng)工作，耗電量?jī)H為 4 兆瓦。

在具有 1750 億個(gè)參數(shù)的 GPT-3 LLM 基準(zhǔn)測(cè)試中，GB200 的性能是 H100 的 7 倍，英偉達(dá)稱其訓(xùn)練速度是 H100 的 4 倍。

“而特斯拉確實(shí)夸大了芯片本身以及它們的開(kāi)發(fā)進(jìn)展，”“whydoesthisitch”認(rèn)為，例如，特斯拉宣傳 Dojo 突破了 exaflop 算力、Dojo躋身世界上最強(qiáng)大的計(jì)算中心之列之時(shí)，谷歌在俄克拉荷馬州梅斯縣的數(shù)據(jù)中心已經(jīng)安裝 8 個(gè) TPUv4 系統(tǒng)Pods，該數(shù)據(jù)中心正在以接近 9 exaflops的總計(jì)算能力供谷歌云部門使用；亞馬遜的AWS 使用 Trainium 芯片算力達(dá)到6 exaflops ，使用英偉達(dá)的 H100 GPU 算力達(dá)到 20 exaflops。

他認(rèn)為，如果Dojo足夠便宜，那它有理由取代英偉達(dá)。問(wèn)題是，特斯拉的運(yùn)營(yíng)規(guī)模支撐不了這種龐大的研發(fā)投資。

今年1月16日，最近離職的特斯拉公共政策和業(yè)務(wù)發(fā)展副總裁的羅漢·帕特爾（Rohan Patel）在社交媒體X上發(fā)布了一則消息，稱“周五晚上與埃隆·馬斯克就一項(xiàng)大型AI數(shù)據(jù)中心投資進(jìn)行了反復(fù)討論。他決定批準(zhǔn)這幾個(gè)月來(lái)一直密切跟蹤的計(jì)劃。很難想到一位首席執(zhí)行官比你能想象地更多地參與公司最重要的細(xì)節(jié)。”

資深科技博主漢斯·尼爾森（Hans Nelson）研究馬斯克和特斯拉多年，他在隨后的連線時(shí)評(píng)上稱，Dojo肯定是大型AI數(shù)據(jù)中心的重要部分，但是帕特爾的這則推文卻沒(méi)有提及Dojo,估計(jì)是Dojo的芯片項(xiàng)目有點(diǎn)落后于他們希望推進(jìn)的程度，這可能表示Dojo在短期內(nèi)將更多使用英偉達(dá)的芯片。

Dojo原打算到今年2月，算力規(guī)模進(jìn)入全球前五，今年10月算力總規(guī)模將達(dá)到100 exaflops，相當(dāng)于30萬(wàn)塊英偉達(dá)A100的算力總和。

尼爾森認(rèn)為，Dojo目前算力能達(dá)到33exaflops，至于如何在10月達(dá)到100exaflops，以及目前的算力中使用的自研芯片和英偉達(dá)芯片各自占比，則無(wú)從得知。但可以肯定的是，無(wú)論Dojo是否能按照時(shí)間表實(shí)現(xiàn)算力目標(biāo)，馬斯克囤積了足夠的H100GPU。

（圖源：來(lái)自漢斯·尼爾森連線對(duì)談視頻截圖）

H100GPU性能比此前的A100更好，特別是在AI訓(xùn)練和推理方面。H100基于英偉達(dá)Hopper架構(gòu)，是第一代支持AI和HPC的Ampere架構(gòu)的下一代架構(gòu)，而A100是基于Ampere架構(gòu)的產(chǎn)品。

10天后的1月26日，紐約州州長(zhǎng)凱西·霍楚（Kathy Hochul）稱，特斯拉將投資5億美元，在該州的布法羅市（Buffalo）建造一臺(tái)Dojo超級(jí)計(jì)算機(jī)。

雖然霍楚在發(fā)布會(huì)上著重提到了5億美元的投資規(guī)模，但是特斯拉在社交媒體X上卻有意淡化了這一數(shù)字，并指出該公司在2024年，在英偉達(dá)硬件上的投資將超過(guò)這一金額。

5億美元相當(dāng)于約 1 萬(wàn)顆 H100 GPU。

4月8日，X 平臺(tái)用戶“The Technology Brother”發(fā)布的囤積英偉達(dá)H100GPU排行榜上，Meta以35 萬(wàn)塊位居第一。

馬斯克對(duì)該排行榜將特斯拉和 xAI 1萬(wàn)塊的排名表示不滿，并指出“如果計(jì)算正確，特斯拉應(yīng)該是第二名，xAI 將是第三名”。

這意味著特斯拉可能擁有 3 萬(wàn)到 35 萬(wàn)顆 H100 GPU，xAI 則可能擁有大約 2.6 萬(wàn)到 3 萬(wàn)顆。

一直和扎克伯格針?shù)h相對(duì)的馬斯克，在不服氣的嘴炮中暴露了真實(shí)狀況：至少現(xiàn)在，Dojo的自研芯片失敗，全面轉(zhuǎn)向英偉達(dá)。

馬斯克稱，在人工智能領(lǐng)域保持競(jìng)爭(zhēng)力，每年至少需要投入數(shù)十億美元，并將會(huì)擴(kuò)大購(gòu)買英偉達(dá)競(jìng)爭(zhēng)對(duì)手AMD的產(chǎn)品。

但“whydoesthisitch”認(rèn)為，Dojo的算力規(guī)模要達(dá)到100 exa flops，估計(jì)要延至2027-2028年，而那時(shí)主流的云服務(wù)商比如亞馬遜的算力已經(jīng)達(dá)到zettaflop級(jí)別。

他稱，目前Dojo的芯片性能其實(shí)只能達(dá)到H100的10%-35%，當(dāng)它追上H100時(shí)，英偉達(dá)已經(jīng)在新一代的Blackwell 上奔跑很遠(yuǎn)。

尼爾森則認(rèn)為，至少馬斯克意識(shí)到了，購(gòu)買芯片還是最劃算的。