OpenAI首席技術(shù)官米拉·穆拉蒂(Mira Murati)近期在接受媒體采訪時(shí)透露，OpenAI人工智能文生視頻大模型Sora即將于今年晚些時(shí)候正式向公眾發(fā)布，OpenAI計(jì)劃最終加入音頻功能，以使場(chǎng)景更為真實(shí)，同時(shí)還將允許用戶編輯Sora生成的視頻內(nèi)容。

盡管眼下距離Sora正式對(duì)外發(fā)布尚有一段時(shí)日，但OpenAI已經(jīng)向世人揭示了這款工具的巨大潛力——僅需幾句精心設(shè)計(jì)的提示語，Sora便可創(chuàng)造出幾乎足以替代許多視頻制作專業(yè)人員的出色作品。與市面上那些時(shí)長(zhǎng)短暫、分辨率低下的AI視頻作品相比，Sora的視頻看起來就像是紀(jì)錄片或電影中的夢(mèng)幻場(chǎng)景。

而Murati也在最新采訪中，向外界介紹了Sora究竟是如何通過簡(jiǎn)單的提示文本，完成這些美輪美奐的視頻制作的，她還詳細(xì)介紹了Sora眼下存在的一些不足，以及接下來會(huì)著重防范和改進(jìn)的地方……

Sora如何“化文字為神奇”？

請(qǐng)你想象一幕場(chǎng)景：“一條美人魚和她的螃蟹伙伴，正在一起瀏覽智能手機(jī)……”

作為這場(chǎng)媒體采訪的“福利”，主持人獲得了讓Sora將其提供的多組文本提示，轉(zhuǎn)化為視頻圖像的機(jī)會(huì)，而以上的這一幕，便是Sora提供的視頻中的一幀。

Sora究竟是如何實(shí)現(xiàn)這一轉(zhuǎn)換的呢？Murati表示，盡管解釋美人魚的進(jìn)化可能都要比解釋“擴(kuò)散模型”(diffusion models)的內(nèi)部運(yùn)作容易得多，但簡(jiǎn)而言之便是：人工智能模型分析了大量視頻，學(xué)會(huì)了識(shí)別物體和動(dòng)作。然后，當(dāng)你給它一個(gè)文字提示時(shí)，它就會(huì)勾勒出整個(gè)場(chǎng)景，然后填充每一幀。

行業(yè)觀察家和OpenAI的競(jìng)爭(zhēng)對(duì)手——Runway首席執(zhí)行官Cristóbal Valenzuela等業(yè)內(nèi)人士，將這些卓越的成果歸功于OpenAI強(qiáng)大的計(jì)算能力和訓(xùn)練數(shù)據(jù)。不過，OpenAI最近也面臨著版權(quán)侵權(quán)訴訟：指控這家人工智能初創(chuàng)公司未經(jīng)許可擅自獲取內(nèi)容來訓(xùn)練ChatGPT。

在被問及OpenAI為Sora使用了哪些訓(xùn)練數(shù)據(jù)時(shí)，Murati指出，“我們使用了公開數(shù)據(jù)和授權(quán)數(shù)據(jù)”。當(dāng)主持人繼續(xù)深入問及這是否包括來自YouTube、Instagram和Facebook的視頻時(shí)，Murati最初表示她并不清楚具體細(xì)節(jié)，但后來確認(rèn)，已獲授權(quán)的材料涵蓋了來自知名版權(quán)圖片網(wǎng)站Shutterstock上的內(nèi)容，而OpenAI與Shutterstock有著合作關(guān)系。

Murati認(rèn)為，對(duì)于用戶來說，人工智能模型就像是一個(gè)神秘的黑盒子——人們知道輸入的提示語和輸出的內(nèi)容，但并不了解中間的步驟。因此，人們可能永遠(yuǎn)不會(huì)知道為什么最終生成的內(nèi)容會(huì)是這樣的——例如上面這張視頻截圖里，美人魚的螃蟹伙伴留著胡子，就像海綿寶寶的朋友蟹老板。巧合嗎？也許吧……

未來視頻將支持配備音效

在另外一段視頻里，主持人要求Sora制作一段她更為符合這場(chǎng)采訪的內(nèi)容：“兩位30多歲、有著棕色頭發(fā)的職業(yè)女性，在一個(gè)光線充足的演播室里坐下來接受新聞采訪。”

最終，在Sora交出的“作業(yè)”里，無論是兩位女性嘴型和頭發(fā)的動(dòng)捕，還是皮夾克上的細(xì)節(jié)，一切看起來都那么真實(shí)。Murati指出，這段20秒的720p分辨率短片，Sora花了幾分鐘才制作完成，但目前還未能支持配備音效。

但Murati已承諾，他們計(jì)劃最終會(huì)添加聲音。

Murati還表示，當(dāng)前Sora生成視頻的成本遠(yuǎn)高于該公司的圖像生成器Dall-E。不過，在未來向公眾正式發(fā)布時(shí)，OpenAI將進(jìn)行優(yōu)化，以降低對(duì)算力的需求。

難以忽視的瑕疵

當(dāng)然，不容忽視的是，在如今Sora才剛剛問世的早期階段，其生成的內(nèi)容中還存在一些極為明顯的瑕疵。

以上述Sora制作的采訪視頻為例，雖然整體的畫面呈現(xiàn)效果頗為令人驚嘆，但細(xì)節(jié)上還是不難發(fā)現(xiàn)問題——在某幾幀畫面里，淺色頭發(fā)的女人的一只手上似乎長(zhǎng)出了10根手指。

Murati對(duì)此解釋稱，“要準(zhǔn)確呈現(xiàn)手部動(dòng)作真的很難。”

在另一個(gè)視頻中，主持人要求看到一個(gè)機(jī)器人從電影制片人手中奪走攝像機(jī)。

而Sora對(duì)此的詮釋是——人類電影制片人直接變形成為了機(jī)器人。此外，在背景中的一輛黃色出租車，也在機(jī)器人“奪舍”的過程中變成了一輛銀色轎車。

Murati對(duì)此點(diǎn)評(píng)稱，Sora“在維持連貫性方面表現(xiàn)尚可，但并不完美”。

未來如何分辨虛擬與現(xiàn)實(shí)？

毫無疑問，眼下的Sora還有著各種各樣的不足。但如果未來某一天，這些問題全都消失了，人們或許也將面臨一個(gè)新困擾：該如何區(qū)分真實(shí)視頻和人工智能生成的視頻？

Murati表示，未來Sora生成的每個(gè)視頻下方都會(huì)有一個(gè)水印。這些視頻最終也將包含元數(shù)據(jù)，以標(biāo)明它們的來源。此外，OpenAI還將有一個(gè)Red Teaming安全測(cè)試團(tuán)隊(duì)，安全測(cè)試人員會(huì)嘗試向Sora發(fā)出提示，以找出漏洞、偏差和其他有害結(jié)果。

Murati指出，“這就是我們實(shí)際上還沒有部署該系統(tǒng)的原因。我們需要搞清楚這些問題，然后才能放心地廣泛部署。”

此外，Sora的提示限制政策可能也會(huì)沿用Dall-E的政策。例如，人們無法用Sora生成公眾人物的圖像——當(dāng)要求其生成“美國(guó)現(xiàn)任總統(tǒng)的電視新聞畫面”時(shí)，Sora會(huì)拒絕這一請(qǐng)求。

親手制作好萊塢大片不是夢(mèng)？

隨著Sora在過去一個(gè)月的驚艷亮相，這一令所有人耳目一新的產(chǎn)品，對(duì)于一些傳統(tǒng)行業(yè)的沖擊無疑也是巨大的，而最直接影響的，或許便是曾長(zhǎng)期經(jīng)久不衰的美國(guó)好萊塢。

著名電影制片人Tyler Perry在看到Sora的潛力后，就于近期宣布將暫停耗資8億美元的工作室擴(kuò)建計(jì)劃。他認(rèn)為這項(xiàng)AIGC技術(shù)能夠削減布景和外景拍攝的成本，但也令人對(duì)電影行業(yè)的未來抱有擔(dān)憂。

而當(dāng)主持人向Murati詢問Sora對(duì)視頻制作工作的影響時(shí)，她也再次重申了OpenAI目前采取的緩步審慎策略，并表示OpenAI正在與行業(yè)內(nèi)部人士合作，進(jìn)行早期的測(cè)試和反饋征集。

正如主持人在讓Sora制造的另一段視頻中所呈現(xiàn)的那樣——如果將OpenAI比作是瓷器店里的公牛，那么它現(xiàn)在可能正在輕裝上陣。但不可避免的是，它將開始砸壞那些原本安放著的盤子……

來源：財(cái)聯(lián)社 作者：瀟湘