OpenAI再次以一款多模態(tài)大模型工具引爆全球。這款名為Sora的文本轉(zhuǎn)視頻模型，可以基于描述性文字指令，生成長達(dá)60秒的視頻，并理解呈現(xiàn)用戶想象中的情緒以及光影。

此前，海內(nèi)外已有多個(gè)創(chuàng)業(yè)項(xiàng)目專注于視頻生成領(lǐng)域，但Sora的出現(xiàn)，仍然給這些起跑者帶來不小沖擊。有關(guān)注AI領(lǐng)域的一級(jí)市場投資人對《科創(chuàng)板日報(bào)》記者表示，“大多數(shù)項(xiàng)目成立以及在技術(shù)探索方面的時(shí)間都不算長，目前看來，Sora在技術(shù)路線上可以說是處在碾壓式領(lǐng)先的地位，因此很多創(chuàng)業(yè)公司的價(jià)值可能需要重新判斷了。”

目前，Runway、Pika等AI視頻公司，在一級(jí)市場受到風(fēng)險(xiǎn)資金的密切關(guān)注。其中，公開資料顯示，Runway截至目前已累計(jì)融資超2.5億美元。對于Sora的推出，該公司的聯(lián)合創(chuàng)始人Cristóbal Valenzuela在社交媒體上回應(yīng)表示，“游戲開始了”。

碾壓式領(lǐng)先的Sora

上述不愿具名的AI投資人對記者表示，Sora的出現(xiàn)，代表著當(dāng)前已經(jīng)有一個(gè)通用的視頻生成方案被探索出來了。“但OpenAI目前公布出來的，只是整個(gè)模型很小的一部分。包括Sora模型需要什么樣規(guī)格的視頻數(shù)據(jù)，哪個(gè)地方需要去做標(biāo)注，標(biāo)注的量有多大，過程是人工的還是自動(dòng)的，這些整體思維目前全世界也只有OpenAI具備。”

OpenAI日前發(fā)布的技術(shù)報(bào)告，對Sora進(jìn)行了初步的介紹說明。該報(bào)告的內(nèi)容包括：Sora得以將各類視覺數(shù)據(jù)轉(zhuǎn)換為一個(gè)統(tǒng)一的表現(xiàn)方式的方法，這是大規(guī)模生成模型訓(xùn)練實(shí)現(xiàn)的前提；以及Sora的能力和局限性定型評估。但報(bào)告并未對模型和實(shí)現(xiàn)細(xì)節(jié)進(jìn)行披露。

有分析人士解釋稱，Sora的創(chuàng)新性核心在于時(shí)空補(bǔ)丁（Spacetime Patches）。

以前文生視頻的方法，要求在訓(xùn)練中使用的圖像和視頻都具有相同的大小，這需要大量的預(yù)處理來將視頻剪裁到合適的大小。但因?yàn)镾ora在“補(bǔ)丁”而非完整幀的視頻上進(jìn)行訓(xùn)練，所以它可以在任何視頻或圖像上進(jìn)行訓(xùn)練，而無需剪裁。這樣做的結(jié)果是，Sora可以使用更多數(shù)據(jù)進(jìn)行訓(xùn)練，從而獲得更高質(zhì)量的輸出。

此外，Sora的另一個(gè)重大進(jìn)步，是它所使用的架構(gòu)。傳統(tǒng)的文本到視頻模型是擴(kuò)散模型（diffusion models），上述Runway就是這種模型；而像GPT-4這類模型則為Transformer架構(gòu)。Sora則是兩者的結(jié)合體。也就是說，Sora不是預(yù)測序列中的下一個(gè)文本片段，而是預(yù)測序列中的下一個(gè)“補(bǔ)丁”。通過這種架構(gòu)，OpenAI可以為Sora的訓(xùn)練提供更多的數(shù)據(jù)和計(jì)算資源，并最終達(dá)到更高質(zhì)量的效果。

上述長期關(guān)注AI領(lǐng)域的一級(jí)市場投資人對《科創(chuàng)板日報(bào)》記者表示，OpenAI可以說是點(diǎn)亮了一棵科技樹，“給大家證明了這個(gè)東西在哪，你可以去做，至于有沒有能力做到，還是需要大量的時(shí)間和工程”。

OpenAI自己也用了“里程碑”這樣的字眼來形容Sora模型。“擴(kuò)展視頻生成模型，是建立通用物理世界模擬器一個(gè)有前景的途徑。”

重構(gòu)視頻生成領(lǐng)域？

緊隨Sora推出而來的，還有OpenAI的最新融資信息。據(jù)媒體援引知情人士消息，OpenAI已經(jīng)完成了一筆交易，其投后估值目前已達(dá)到800億美元或更多，估值在9個(gè)月內(nèi)暴漲兩倍。

而對于其他視頻生成類企業(yè)而言，Sora所代表的新技術(shù)路線的出現(xiàn)，則意味著公司價(jià)值將被市場重新檢驗(yàn)。上述AI投資人對《科創(chuàng)板日報(bào)》記者表示，“‘Sora讓AI創(chuàng)業(yè)者和投資人徹夜無眠’的說法，不是標(biāo)題黨，比如你如果是做視頻生成的，Sora的出現(xiàn)會(huì)讓你重新看待自己的方法路線，這就意味著，你之前投入的錢，還有投資人之前投的錢，都有可能浪費(fèi)掉了。”

光速印度合伙人Hemant Mohapatra在接受媒體采訪時(shí)表示，Sora的出現(xiàn)，將會(huì)讓一切都發(fā)生改變。“它生成的視頻質(zhì)量之高，會(huì)讓庫存視頻生成公司立即感受到威脅。”Adobe的股價(jià)走勢或許可以印證這一說法。在Sora面世后，作為庫存視頻生成公司代表的Adobe股價(jià)，應(yīng)聲下跌超過7%。

其他AI初創(chuàng)公司無疑也將受到Sora面世的影響。目前，全球較為知名的AI視頻生成初創(chuàng)公司，包括Runway、Pika Labs、Stability AI等，這些公司之前都備受風(fēng)險(xiǎn)資金的關(guān)注。

其中，Runway成立于2018年，是較早的AI視頻創(chuàng)業(yè)項(xiàng)目。截至目前，Runway在一級(jí)市場融資金額已超過2.5億美元，投資方包括谷歌、英偉達(dá)等眾多知名機(jī)構(gòu)，項(xiàng)目估值達(dá)到15億美元。該公司數(shù)月前剛發(fā)布了Gen-2模型，目前已對外開放使用。

Pika Labs則因?yàn)槠鋭?chuàng)始人身份，年前在國內(nèi)亦火爆了一把。目前，成立僅半年多的Pika，已累計(jì)融資超5500萬美元，其投資方包括Lightspeed Venture Partners等硅谷眾多知名風(fēng)險(xiǎn)投資機(jī)構(gòu)以及投資人。

而除了初創(chuàng)公司，谷歌、Meta等大公司也都在進(jìn)行視頻生成技術(shù)的探索。其中，Meta在2022年就發(fā)布了首款視頻生成工具，名為Make-A-Video。去年，其又測試了新的文生成視頻模型Emu Video，扎克伯格曾表示該模型將被嵌入Facebook和Instagram。

上述AI投資人對記者表示，隨著Sora所代表的新技術(shù)路線的出現(xiàn)，這些更早入局的AI視頻公司價(jià)值可能會(huì)經(jīng)歷重構(gòu)，而對于國內(nèi)公司，其表示目前總體還處在追趕狀態(tài)，短期內(nèi)出現(xiàn)類似Sora這樣的模型或許較難。

“去年一年我們追趕的速度已經(jīng)很快了，但這個(gè)過程還是受到了包括算力、工程等方面因素的制約。在模型足夠成熟之前，很難有更多的應(yīng)用出現(xiàn)，所以還是要一步一步來。”

來源：財(cái)聯(lián)社 記者：敖瑾