美東時(shí)間6月17日，Runway發(fā)布新一代視頻生成模型Gen-3Alpha，視頻生成賽道上再添“大將”。

Runway是一家視頻、媒體和藝術(shù)的生成式AI公司，在美國(guó)紐約于2018年成立，為電影和視頻制作中的內(nèi)容生成構(gòu)建基礎(chǔ)多模式AI模型。目前該公司已經(jīng)完成C輪融資，累計(jì)融資金額達(dá)2.36億美元，估值達(dá)15億美元，投資者包括谷歌、Nvidia和Salesforce。

2023年2月，該公司連續(xù)發(fā)布生成式AI系統(tǒng)Gen-1以及多模態(tài)AI系統(tǒng)Gen-2，該模型能夠通過圖像或文本提示生成視頻。

該公司表示，Gen-3Alpha是對(duì)此前Gen-2模型在保真度、一致性和運(yùn)動(dòng)性有了重大改進(jìn)。

在細(xì)粒度時(shí)間控制上，Gen-3Alpha具有高度描述性、時(shí)間密集的字幕，能夠?qū)崿F(xiàn)豐富的過渡和場(chǎng)景中元素的精確關(guān)鍵幀。Gen-3Alpha擅長(zhǎng)通過各種動(dòng)作、手勢(shì)和情感產(chǎn)生富有表現(xiàn)力的人類角色。

Runway在官網(wǎng)表示，Gen-3Alpha在視頻和圖像方面接受聯(lián)合訓(xùn)練，將為Runway的文本到視頻、圖像到視頻和文本到圖像工具、運(yùn)動(dòng)刷、高級(jí)相機(jī)控制、導(dǎo)演模式等現(xiàn)有控制模式以及即將推出的工具提供動(dòng)力，以更精細(xì)地控制結(jié)構(gòu)、風(fēng)格和運(yùn)動(dòng)。

另一方面，該公司稱Gen-3Alpha將發(fā)布一套新的保障措施，包括內(nèi)部視覺審核系統(tǒng)和C2PA來源標(biāo)準(zhǔn)。

該公司創(chuàng)始人Germanidis接受TechCrunch采訪時(shí)表示：“Gen-3Alpha模型在處理復(fù)雜的角色和物體交互時(shí)可能會(huì)遇到困難，生成過程并不總是嚴(yán)格遵循物理定律。首次推出的版本將支持5秒和10秒的高分辨率生成，生成時(shí)間明顯快于Gen-2。生成一段5秒的視頻需要45秒，生成一段10秒的視頻則需要90秒。”

值得一提的是，Runway并未在相關(guān)消息及采訪中透露訓(xùn)練數(shù)據(jù)來源。而這也是目前生成式模型最容易遭遇挑戰(zhàn)的部分——版權(quán)問題。此前，360創(chuàng)始人、董事長(zhǎng)兼CEO周鴻祎發(fā)布該公司新產(chǎn)品——360AI時(shí)，被藝術(shù)家創(chuàng)作者指責(zé)竊取其作品，雙方“隔空喊話”，版權(quán)爭(zhēng)議一直是行業(yè)頑疾。

“我們正在與藝術(shù)家密切合作，找出解決這一問題的最佳方法，”Germanidis告訴TechCrunch，“我們正在探索各種數(shù)據(jù)合作伙伴關(guān)系，以便進(jìn)一步發(fā)展和構(gòu)建下一代模型。”

Germanidis還聲稱，其全新改進(jìn)的內(nèi)部視覺和文本審核系統(tǒng)采用自動(dòng)監(jiān)督來過濾掉不適當(dāng)或有害的內(nèi)容。C2PA身份驗(yàn)證可驗(yàn)證使用所有Gen-3模型創(chuàng)建的媒體的出處和真實(shí)性。隨著模型功能和生成高保真內(nèi)容的能力不斷提高，公司將繼續(xù)在協(xié)調(diào)和安全工作上投入大量資金。

當(dāng)前，生成式模型賽道上擠滿了對(duì)手，包括Sora、pika、Vidu、Luma AI等，競(jìng)爭(zhēng)愈發(fā)激烈。

Runway在博客上表示，Gen-3Alpha也是朝著構(gòu)建通用世界模型邁出的一步。這與中國(guó)公司的同行們判斷一致。

近日，生數(shù)科技CTO鮑凡在智源大會(huì)的視覺大模型論壇上表示，從Vidu4D的工作里面看到，這種視頻大模型有作為世界模型的潛力，把世界上各種物理規(guī)律都給模擬出來，后續(xù)再結(jié)合3D或者4D的技術(shù)進(jìn)行開發(fā)。

他認(rèn)為，要通往世界模型有兩條路。一是通過大語(yǔ)言模型，先把抽象的知識(shí)構(gòu)建好，再拓展成世界模型。第二條是把物理規(guī)律構(gòu)建好，拓展成世界模型，這兩條道路目前都是探索狀態(tài)。

與此同時(shí)，生成視頻的成本問題也備受關(guān)注。愛詩(shī)科技創(chuàng)始人王長(zhǎng)虎在智源大會(huì)上透露，現(xiàn)在生成一個(gè)三五秒鐘的視頻需要耗時(shí)幾十秒。如果采用RTX 4090芯片，用時(shí)40秒鐘，或者60秒鐘的成本大概1、2美元左右，未來成本還會(huì)進(jìn)一步下降。

他指出，AI視頻生成產(chǎn)品能用的也就是3秒-5秒，生成視頻越長(zhǎng)，誤差隨之會(huì)更大，這是接下來行業(yè)要解決的問題。

王長(zhǎng)虎表示，目前生成視頻還存在以下三個(gè)問題。第一，生成視頻往往是單鏡頭的，真正的視頻是由多個(gè)鏡頭組合，多鏡頭的內(nèi)容是未來AI視頻生成要解決的問題。其次，當(dāng)前等待時(shí)長(zhǎng)比較長(zhǎng)，普通用戶很難玩起來。第三，推理成本高，也是行業(yè)亟待解決的問題。

來源：界面新聞 作者：陳振芳