北京時間2月16日凌晨，沒有任何預告，全球明星AI創(chuàng)業(yè)公司OpenAI發(fā)布了文生視頻模型Sora，首次由AI生成了長達1分鐘的多鏡頭長視頻，其對于真實人類世界的高模擬度畫面、精細的畫質、多鏡頭拍攝、多角度運鏡，表明AI對人類世界的理解、AI生成的創(chuàng)造性內容又上了新臺階。

多方評論認為，科技界與影視界或將迎來新一輪革命。

OpenAI首席執(zhí)行官Sam Altman順勢在社交平臺X上開始招聘：“OpenAI是我在一個地方見過的最有才華、最友善的一群人，致力于解決最困難、最有趣和最重要的問題，所有關鍵資源均已到位，非常專注于打造 AGI（通用人工智能），你也許應該考慮加入我們。”

而OpenAI的消息還不止于此。2月17日，據(jù)《紐約時報》和彭博社等媒體報道，OpenAI已完成一項允許員工出售公司股份的最新交易，使得這家AI明星公司的估值達到了860億美元。

對電影行業(yè)的影響只是時間問題

遠隔重洋，中國影視從業(yè)者也感到了巨大沖擊。一位青年導演在2月16日發(fā)朋友圈說：“今日，大家正為AI的進步會在不遠的將來搶走飯碗而倍感惶恐。”

中國香港青年導演朱智立告訴藍鯨財經記者，“它（Sora）對電影行業(yè)的影響只是一個時間問題，因為它已經把畫面做到非常真實、有細節(jié)，包括一個女人在東京街頭的畫面，連臉上的雀斑都能做到非常真實。”

朱智立向藍鯨財經表示，Sora對宣傳片、廣告片的影響會更大，“電影還有劇本、情節(jié)、臺詞等復雜因素，而在廣告、宣傳片行業(yè)，沖擊可能會更快到來。如果提示詞可以細節(jié)到分鏡，那AI不僅僅是幫助導演畫分鏡和視覺參考圖了，而是直接可以做成更高效的動態(tài)分鏡預覽，或者等技術更成熟時可以直接用來做成影視作品。”

雖然朱智立仍能在Sora生成的視頻中發(fā)現(xiàn)一些bug（問題），但他認為修復這些bug只是時間問題，“有個視頻是一個老奶奶吹蠟燭，但是蠟燭沒有熄滅，意味著在情節(jié)的因果關系上有些bug。但幾個月前Pika（另一家AI視頻生成創(chuàng)業(yè)公司）才只能生成幾秒鐘的視頻，當時我申請Pika賬戶，現(xiàn)在還沒申請下來，幾個月后Sora就出來了，能生成一分鐘的視頻。這些bug修復、技術迭代只是時間問題，可能比我們想得還要早。”

目前在影視界，特別是動畫電影中，用文生圖模型Midjourney來畫前期動態(tài)分鏡預覽已很廣泛。Previz（Previsualization，動態(tài)預覽）是指在正式拍攝之前將拍攝內容簡單制作一遍，用簡單動畫展示出演員走位、取景、攝影機角度與運動大方向，這原本是要一筆不小的預算和時間的，但AI可以低成本快速產出。

目前，朱智立正在籌拍的新電影就使用了Midjourney畫分鏡，對一些電影場景如七八十年代的香港碼頭、上海理發(fā)店的還原度很高，放到了他的電影項目書里，作為重要場景的視覺參考，“比導演用嘴巴去講、自己用手畫分鏡要好很多。”

據(jù)《財經十一人》報道，目前不少視頻創(chuàng)作者在以周為單位學習AI軟件，全流程用AI制作視頻，甚至拿到品牌商單。動畫導演、兔斯基作者王卯卯強迫自己每周學2-3個AI軟件，在學習了4個月AI后，她動手用AI制作視頻了，從開始有創(chuàng)作想法，到生成主視覺圖、生成動畫，再到剪輯、加字幕，一個30秒的預告片只用了3個小時。

據(jù)報道，小紅書博主@吳志氣已經用AI制作多條商業(yè)廣告，已經有品牌在接觸AI視頻創(chuàng)作者。他收到的最高報價是8000元/秒，聽過的最高報價達到了10000元/秒。不過目前報價的底線也可以很低，有的只有500元/秒。

雖然很多影視、廣告從業(yè)者感到了被AI搶飯碗的危機，但360公司創(chuàng)始人周鴻祎則發(fā)文表示：“今天很多人談到Sora對影視工業(yè)的打擊，我倒不覺得是這樣，因為機器能生產一個好視頻，但視頻的主題、腳本和分鏡頭策劃、臺詞的配合，都需要人的創(chuàng)意，至少需要人給提示詞。一個視頻或者電影是由無數(shù)個60秒組成的。今天 Sora 可能給廣告業(yè)、電影預告片、短視頻行業(yè)帶來巨大的顛覆，但它不一定那么快擊敗TikTok，更可能成為 TikTok的創(chuàng)作工具。”

也有些內容生產領域對AI持審慎態(tài)度。劉先生目前在北京一家電視臺擔任視覺創(chuàng)意設計師，他在工作中不會用到AI，一方面是不能使用VPN，一方面單位會顧慮存在黑客盜取AI數(shù)據(jù)庫的風險，“任何事情要首先考慮安全。”

力大磚飛的技術

Sora可以生成長達60秒的視頻，此前文生視頻時長最長的是另一家人工智能公司Runway，支持最多18s視頻生成，鏡頭相對固定。由中國上市公司之女創(chuàng)立、曾引起A股轟動的Pika，此前生成視頻長度在3秒左右，是單鏡頭，與其說是視頻，更像是動圖。

而OpenAI此次發(fā)布的Sora生成的視頻有絲滑的移動運鏡、場景轉換，還可以自行分鏡、切換景別，這意味著Sora可能讓普通人以極低的門檻制作自己的電影。

另外，此前的文生視頻模型，由于是生成單鏡頭，一旦輸入新提示詞，就會生成新鏡頭，主角就會變換，在實際的視頻創(chuàng)作中有困難。而Sora生成的視頻，在視角轉換、鏡頭景別切換后，仍保持主體的一致性。

OpenAI官網介紹，“Sora能夠生成具有多個角色、特定類型的運動以及主體和背景的準確細節(jié)的復雜場景。該模型不僅了解用戶在提示中提出的要求，還了解這些東西在物理世界中的存在方式。”這意味著，如果說GPT能通過人類的語言來理解世界，那么Sora則能通過視頻、圖片等多模態(tài)數(shù)據(jù)來理解世界。

Sora把視頻和圖像分解為較小的數(shù)據(jù)單元——“patches（小塊）”，每個“patches”相當于GPT中的一個token（語句），這種編碼十分靈活，通過patches來訓練Sora模型。Sora使用了Diffusion擴散模型，它最初生成的視頻看起來像靜態(tài)噪聲的視頻，然后通過一步步消除噪聲，來轉換成清晰視頻。據(jù)知危報道，相比于GAN生成對抗網絡，Diffusion擴散模型像是一個勤奮且聰明的畫家，并不是機械的仿作，在學習大量先作的時候，學會了圖像內涵與圖像之間的關系。

根據(jù)OpenAI的技術報告，Sora的強大得益于足量的數(shù)據(jù)、靈活的編碼、優(yōu)質的標注和Transformer+diffusion的架構。

據(jù)互聯(lián)網程序編程算法領域博主宋博寧分析，以往此類模型對視頻的處理往往會分解為時間域和空間域，用處理時間域的模型處理時間域，比如RNN、自回歸模型等。但從報告來看，這次OpenAI直接把整個視頻看做一個整體，一次性輸入到diffusion模型中，讓模型一次性生成出整個視頻的每個細節(jié)。這樣需要對視頻進行壓縮，但一次輸入的數(shù)據(jù)量仍遠遠超過目前大模型支持的上下文長度。訓練這樣一個Diffusion Transformer模型需要巨大的計算成本。

既然訓練模型這么燒錢，而芯片又是AI成本的大頭，一直狂飆猛進的OpenAI也試圖下場布局芯片了。不久前，據(jù)華爾街日報2月8號報道，Sam Altman正在與包括阿聯(lián)酋在內的投資者進行談判，以籌集數(shù)萬億美元資金，旨在提高全球芯片制造能力。其中一位知情人士表示，該項目可能需要籌集多達5萬至7萬億美元的資金。據(jù)華盛頓郵報1月底報道，Sam Altman與美國國會議員討論芯片制造業(yè)務，或與臺積電等芯片制造公司合作。

芯片巨頭英偉達在2024年開年短短一個半月時間，股價已經上漲46.63%，近一年更是上漲351.76%。截至2月16日，英偉達總市值接近1.8萬億美元，超過亞馬遜和谷歌，僅次于微軟、蘋果和沙特阿美，為全球市值第四大公司。

來源：藍鯨財經 作者：王沁