2024年2月16日凌晨,OpenAI發布了“文生視頻”(text-to-video)工具Sora,在全世界引發“科技海嘯”。
不同語言的人們在全球的社交媒體上驚呼:現實,已被顛覆。
多日以來,圍繞Sora的討論不絕于耳,或欣喜激動,多擔憂緊張。從股市到好萊塢,從國內大咖到國際頂尖專家,都做出了不同程度的反應。本文將為您詳細盤點。
01
Sora有何魅力?
Sora一經發布就席卷全球,更在龍年首個交易日在A股掀起AI熱潮。
同花順App顯示,截至2月19日收盤,人工智能板塊漲6.30%。多支Sora相關概念股上漲,其中,當虹科技、因賽集團、萬興科技等股價漲停。
作為開年AI王炸,Sora到底是什么?
Sora是OpenAI發布的文生視頻模型。它能夠按照用戶輸入的提示詞、文本指令或靜態圖像,來創造出長達一分鐘的逼真且充滿想象力的視頻場景。視頻不僅邏輯性和連貫性極佳,還能實現多角度鏡頭的自然切換。
在發布中,OpenAI展示了Sora文本生成的視頻:
△Sora生成視頻截圖
而該視頻的文本僅有幾句話:
一位時尚的女人走在東京的街道上,街道上到處都是溫暖的發光霓虹燈和動畫城市標志。她身穿黑色皮夾克,紅色長裙,黑色靴子,背著一個黑色錢包。她戴著墨鏡,涂著紅色口紅。她自信而隨意地走路。街道潮濕而反光,營造出五顏六色的燈光的鏡面效果。許多行人四處走動。
眾多媒體人表示,Sora的推出對于視頻內容的制作方式可能帶來革命性的變化,相比較目前的AI視頻制作,Sora具有顛覆性特點:
文本到視頻的轉換:用戶只需提供文字、圖片描述,Sora就能將這些描述轉化為具體的視頻內容,極大地簡化了視頻制作流程。
視頻質量和逼真度更高:Sora生成的視頻內容分辨率高、畫面流暢,視頻效果不輸業內專業人士的制作。
長時間視頻生成:相比其他模型,Sora可以生成長達一分鐘的視頻。要知道,Sora的競爭對手Runway去年8月推出的第二代模型,每次還只能生成最高18秒的視頻。
時空一致性:根據Sora演示來看,即便對視頻進行擴展,它也能夠賦予模型“前瞻性”,確保視頻主題在畫幅外也能保持不變,達到更符合邏輯的時空一致性。
Sora的制作團隊有多年輕?
除了超強的文本視頻生成能力,Sora的年輕化制作團隊也引發關注。
據悉,Sora兩位主要負責人Tim Brooks和William (Bill) Peebles都在2023年剛剛博士畢業。
Tim Brooks,DALL-E 3作者之一,GitHub 5.7k星項目InstructPix2Pix作者,2021-2022年在英偉達實習時,就是視頻生成研究的項目負責人。
William (Bill) Peebles,和謝賽寧合作,創作出了Sora的技術基礎之一DiT(擴散Transformer),論文還曾入圍CVPR 2022最佳論文候選。
00后選手和多位華人也讓Sora的隊伍充滿了多元化。團隊中的“00后”Will DePue,2022年從密西根大學計算機系本科畢業。他在高中時候就已經參與了很多項目開發,并成立了自己的公司。2023年7月,其加入OpenAI,2024年1月加入Sora項目組。
Sora項目組中的華人Li Jing是DALL-E 3的共同一作,2014年本科畢業于北京大學物理系,2019年獲得MIT物理學博士學位,2022年加入OpenAI。
華人作者中還有Ricky Wang,今年一月剛剛從Meta/Instagram跳槽到OpenAI。
另外兩位Yufei Guo、Clarence Ng還未公開資料。
正是這樣一支年輕化隊伍打磨的文生視頻APP,剛上線就引發好萊塢等影視行業的震驚。
02
Sora出現,將打破視頻制作壁壘
Sora的騰空出世,給影視行業帶來史詩級變革。
與國內大A不同的是,Sora發布后,幾家美國科技公司的股價應聲跌落。Adobe股價暴跌超7%;美國圖片庫、圖片素材、Shutterstock跌超5%;Lumiere的谷歌母公司股價下挫1.58%。
影像創意行業認為Sora生成的視頻質量足以縮短電影拍攝周期,電影生產方式本身的高壁壘和獨斷性將會被打破。
AI產品“奇襲”,引發影視制作行業緊張和擔憂。
實際上在2023年,好萊塢就曾進行了長達半年的罷工。原因之一是巨頭們有意使用AI取代一部分編劇的工作,此次罷工被認為是人類抵抗AI威脅的首次集體行動。
雖然好萊塢罷工已經平息,AI產品改變影視制作仍有眾多需要改進的環節,但年初發布的Sora指數級飛躍速度再次讓人們陷入擔憂。
電影導演兼視覺效果專家邁克爾·格雷西表示:“看看我們在圖像生成的一年里取得了什么進展。一年后我們會在哪里?”
《綜藝》評論稱“自從上周OpenAI發布文本生成視頻模型Sora以來,人們對于這種AI功能的預測越來越‘惶恐’,畢竟與之前的同類工具相比,OpenAI似乎帶來巨大的飛躍”。Sora是迄今為止最令人印象深刻的視頻生成模型之一,其“現實主義效果”將有望在高端娛樂中發揮作用。
《人工智能革命:超級智能之路》的作者、著名科技作家蒂姆·厄本據此預測:“21世紀將實現20世紀1000倍的進步。”
而正在舉行的柏林電影節上,Sora也成為電影人熱議的話題。
洛杉磯導演戴夫·克拉克(Dave Clark)認為:創作者需要接受人工智能技術來制作尚未想象或實現的內容,而不是感到威脅。
德國視覺特效工作室Trixter董事總經理克里斯蒂娜·卡斯珀斯-羅默(Christina Caspers-Roemer)則表示,像Sora這樣的人工智能工具被證明在工作流程中更高效、更快。
Sora在視頻生成領域的優越能力為塑造影視產業業態開啟了新方式,或許在未來,特效師、高難度動作、科幻題材、大場面制作只要幾行字就能打造出恢宏場景,相關行業更是將其稱之為“潘多拉魔盒”。
因此,眾多行業專家也紛紛下場預測Sora未來應運前景。
03
Sora狂飆,未來前景將如何發展?
在游戲行業,Share Creators創始人兼CEO Ada Liu認為,視頻生成帶來的改變將是“跨時代”的。“在游戲行業, AI可以幫助生成前期的概念圖,UI icon等。計算機圖形制作的流程非常長,從3D制作,到渲染、合成,每個環節都需要投入大量專業的人員。尤其在風格探索階段,如果直接生產出視頻,相當于直接跳到最后一步,節省了大量的制作時間和成本。”
在影視制作行業,Sora發布之初,周鴻祎就預言Sora“可能給廣告業、電影預告片、短視頻行業帶來巨大的顛覆,但它不一定那么快擊敗TikTok,更可能成為TikTok的創作工具”。
中國社會科學院法學研究所副研究員唐林垚表示:“如果Sora的能力真如官方公布一樣強大,且之后可以像ChatGPT一樣便捷訪問,那么Sora將給廣告行業、影視行業和特效行業帶來極大的沖擊。”
對AI產業,IDC中國研究總監盧言霞表示:Sora的發布,以及后續科技巨頭的跟進,有望對AI產業帶來再一輪爆發式的增長。
雖然Sora在全球掀起了驚濤駭浪,但是其細節和邏輯還有一些瑕疵。根據Sora 生成的人類考古視頻,椅子在畫面中憑空出現,而且不受重力影響飄浮在空中。
△Sora生成視頻截圖
對此,AI圈大佬對于Sora的物理引擎提出了新的問題:Sora到底懂不懂物理世界?
圖靈獎得主 Yann LeCun表示Sora生成視頻的過程與基于世界模型的因果預測完全不同,更理想的做法是生成視頻后續內容的抽象表達,并消除與我們可能所采取動作無關的場景中的細節。
Keras 之父 Fran?ois Chollet 則闡述了更細致的觀點。他認為,像 Sora 這樣的視頻生成模型確實嵌入了「物理模型」,但問題是:這個物理模型是否準確?它能否泛化到新的情況,即那些不僅僅是訓練數據插值的情形?
Chollet 表示以上問題至關重要,因為它們決定了生成圖像的應用范圍 —— 是僅限于媒體生產,還是可以用作現實世界的可靠模擬。
針對Sora的弱點,知名 AI 學者、Meta AI 研究科學家田淵棟認為Sora 是否有潛力學到精確的物理(當然現在還沒有),其背后的關鍵問題是:為什么像「預測下一個 token」或「重建」這樣簡單的思路會產生如此豐富的表示?
其并提出建議:為了更好地理解事物,我們確實需要揭開 Transformers 的黑匣子,檢查給定反向傳播的訓練動態,以及如何學習隱藏的特征結構,并探索如何進一步改進學習過程。
04
其實類似的文生視頻模型也早有端倪。例如谷歌的VideoPoet,能夠執行包括文本到視頻、圖像到視頻、視頻風格化等操作;Meta的Emu Video,能夠基于文本和圖像輸入生成視頻剪輯;Runway的Gen2不僅解決了AI生成視頻中每幀之間連貫性過低的問題,在從圖像生成視頻的過程中也能給出很好的結果,因此還被稱為“AI視頻界的MidJourney”;以及文生視頻軟件Pika,也在推出之初就引發了AI視頻的應用熱潮。
可以說Sora的出現受傷最大的是友商。Sora發布后,Runway的CEO克里斯托瓦爾·巴倫蘇埃拉在X平臺上給出了一個簡短的宣言:“Game On(比賽開始了)。”
Sora的出現,點亮了人們對影視行業未來發展的展望,用小說生成電視劇,人人做導演或許將在未來變成可能。
但在視頻生成技術廣泛使用和 AI模型層出不窮的背景下,Sora想要克服物理邏輯,并且實現AI模型的透明度和可解釋性,可能還要“再飛一會”......
關于瑞承
瑞承作為專為高凈值人士、企業家群體提供服務的品牌,致力于圍繞企業家客戶群體的“企、傳、投”需求提供綜合咨詢服務解決方案。
長期深耕企業家“企、傳、投”服務,通過多年資產配置能力、科技能力、國際化能力和綜合服務能力的持續建設,為客戶在資產配置、家族傳承、企業發展與提升、品質生活、公益金融等方面提供全方位服務,長期陪伴企業家客戶的企業、個人和家庭成長,奔赴更加美好的事業與生活。
參考信息:
1、全網刷屏的Sora,有多可怕?
2、Sora火爆全網 相關股掀漲停潮
3、Sora爆火48小時:楊立昆揭秘論文,參數量或僅30億
4、Sora到底懂不懂物理世界?一場頭腦風暴正在AI圈大佬間展開
5、Sora“轟炸”影視圈,普通人的風口來了
6、Sora讓好萊塢緊張了!
7、引爆A股的Sora,到底是啥?一文看懂
8、全網刷屏的Sora,有多可怕?
9、爆火的Sora,摩拳擦掌的出海人
10、IDC:Sora正式發布前、多模態大模型爆發前夜的十大思考
轉自：中國網
【版權及免責聲明】凡本網所屬版權作品，轉載時須獲得授權并注明來源“中國產業經濟信息網”，違者本網將保留追究其相關法律責任的權力。凡轉載文章及企業宣傳資訊，僅代表作者個人觀點，不代表本網觀點和立場。版權事宜請聯系：010-65363056。
延伸閱讀
上半年汽車工業多項經濟指標創新高
