經(jīng)濟(jì)觀察報 記者 任曉寧 周應(yīng)梅 實習(xí)生 陶思羽 一位包頭老板被AI換臉詐騙430萬元的消息，瞬間傳遍了整個朋友圈。而三天之后，安徽警方公布了另一起AI換臉導(dǎo)致的詐騙案，涉案金額同樣高達(dá)百萬元。

這種利用AI技術(shù)的新型犯罪也很快引發(fā)了監(jiān)管關(guān)注。中國互聯(lián)網(wǎng)協(xié)會5月24日在官微發(fā)文稱，ChatGPT和GPT-4等技術(shù)的應(yīng)用，成為了信息科技領(lǐng)域的熱點，引起公眾對AI技術(shù)的廣泛關(guān)注和熱情。但伴隨著深度合成技術(shù)的開放開源，深度合成產(chǎn)品和服務(wù)逐漸增多，利用“AI換臉”“AI換聲”等虛假音視頻，進(jìn)行詐騙、誹謗的違法行為屢見不鮮。并提醒面對利用AI技術(shù)的新型騙局，廣大公眾需提高警惕，加強(qiáng)防范。

AI換臉技術(shù)并非直到近期才成熟；早在2019年起就風(fēng)靡全球，2019年換臉技術(shù)DeepFake一出現(xiàn)便引發(fā)了巨大倫理和法律爭議，但彼時的技術(shù)已經(jīng)證明，“一鍵換臉”起碼從技術(shù)上來看，并不存在什么門檻可言。

不過，技術(shù)的細(xì)節(jié)迭代還是發(fā)生了。比如相比此前肉眼能夠比較輕松識別、在生成式AI技術(shù)浪潮爆發(fā)的當(dāng)下，AI換臉正在越來越變得毫無痕跡。

創(chuàng)新工場AI子公司、港股上市公司創(chuàng)新奇智CTO張發(fā)恩告訴記者，隨著AI技術(shù)發(fā)展越來越快，研究越來越深，AI換臉、換聲音，破綻會越來越小。“技術(shù)是好的，但有時候會被不法分子利用。”張發(fā)恩也是寧波諾丁漢大學(xué)客座教授，曾任百度智能云事業(yè)部首席架構(gòu)師和技術(shù)委員會主席。

技術(shù)與防守

“現(xiàn)在已經(jīng)到了大規(guī)模、集中化討論AI風(fēng)險的關(guān)鍵時刻。”接受記者采訪時，清華大學(xué)教授、博士生導(dǎo)師沈陽提出警示。他研究AI和大數(shù)據(jù)已有十多年時間。

沈陽今年也在做大模型平臺，他了解技術(shù)進(jìn)步的速度，也知道大眾面對新技術(shù)的無措。他承認(rèn)，AI技術(shù)有很正向的應(yīng)用價值，但其壞的一面也應(yīng)該重視。

根據(jù)沈陽的判斷，AI換臉等引發(fā)的問題，會讓我們經(jīng)歷一段混亂階段，這對當(dāng)前社會的整體反應(yīng)提出了高要求。并且，這種混亂還將蔓延相當(dāng)長時間。

“會比互聯(lián)網(wǎng)或移動互聯(lián)網(wǎng)早期的混亂期更長。畢竟互聯(lián)網(wǎng)和移動互聯(lián)網(wǎng)，都還是工具，但AI可能是自我覺醒的新物種，它是真的能挑戰(zhàn)人類的存在。”沈陽說。

國外ChatGPT產(chǎn)品已經(jīng)向大眾開放，暴露的風(fēng)險更多。據(jù)了解，目前OpenAI已經(jīng)選擇暫停研發(fā)GPT-5，暫停時長6個月。麻省理工學(xué)院人工智能與基礎(chǔ)交互中心物理學(xué)教授、未來生命研究所所長Anthony Aguirre稱，GPT的軍備競賽是不幸的，這更像是一場自殺競賽。“我們面臨著不負(fù)責(zé)任的企業(yè)、廣泛應(yīng)用、監(jiān)管缺失和大量未知因素引發(fā)的完美風(fēng)暴。”

一覽科技聯(lián)合創(chuàng)始人兼CTO陳錫言告訴記者，能否識別哪些是AI生成的內(nèi)容，會在未來成為人類基本生存技能。因為這些能力是不可或缺的。

當(dāng)人類已經(jīng)很難用肉眼識別出AI合成痕跡，進(jìn)而可能被AI詐騙時，有些人想到一個辦法，用AI技術(shù)打敗AI技術(shù)。

獨到科技CEO張文浩覺得，AI安全是當(dāng)下一個好賽道，最近出現(xiàn)了大量專門針對AI安全的公司，創(chuàng)業(yè)方向是識別AI合成圖片、視頻的痕跡，以及辨別偽造聲音。

陳錫言對此也很感興趣。他說，雖然自己從事AI視頻行業(yè)，現(xiàn)在能一眼識別出某個視頻是否由AI合成，但如果有類似產(chǎn)品出現(xiàn)，他也愿意購買。畢竟，技術(shù)會發(fā)展到什么程度，很難預(yù)料。

記者統(tǒng)計的近3個月獲得投資的AI公司中，安全公司有2家，分別是齊治科技、云科安信。

一位大模型公司技術(shù)人員告訴記者，AI安全是學(xué)界中的一個很重要的研究領(lǐng)域，上升為工程產(chǎn)品后，“整個大模型的業(yè)界都在討論這個問題”。

不過，AI是否能真的識破AI，目前仍有爭議。

沈陽告訴記者，現(xiàn)在國外有一些AI安全技術(shù)雛形，可以自動檢測某個圖片或視頻是否為AI合成，但當(dāng)前技術(shù)還不是太成熟。

技術(shù)難點在于，AI生成的數(shù)據(jù)量太大，檢測的算力跟不上。并且，很多AI內(nèi)容都經(jīng)歷了多次合成。如果只經(jīng)歷一次合成，還相對好識別。若是多次合成，當(dāng)前的技術(shù)很可能就找不到合成特征了。

張發(fā)恩對此更不樂觀。他直截了當(dāng)?shù)恼f，用AI識破AI，是個偽命題。有一種人工智能模型訓(xùn)練方式叫生成辨別對抗訓(xùn)練，在這種訓(xùn)練方式下，有兩個AI模型，一個是“造假”模型，一個是辨別模型。同時訓(xùn)練這兩個模型，當(dāng)“造假”模型產(chǎn)出的內(nèi)容越來越逼真，辨別模型就無法辨別真假。基于這種邏輯，我們無法依靠AI來揭穿AI。

他覺得，還是需要人們自身提高防范意識，大眾也應(yīng)該多接受知識普及，至少要知道技術(shù)已經(jīng)發(fā)展到哪個地步了，自己多警覺一些。

沈陽補(bǔ)充說，防范AI風(fēng)險還需要AI生成平臺，以及社交傳播渠道的配合。比如AI換臉，或是換聲時，內(nèi)容生成平臺應(yīng)該自動打碼，標(biāo)注其是由AI合成，以起到提醒作用。

陳錫言也贊成這一點，他認(rèn)為一項AI內(nèi)容誕生后，人們應(yīng)該是被告知的，這比較符合價值觀和倫理。此外，傳播渠道也有自己的責(zé)任，一旦發(fā)現(xiàn)某個賬號涉嫌詐騙，應(yīng)該及時封控賬號。

選擇與進(jìn)退

事實上，“AI換臉”的風(fēng)險不止于詐騙。也被大量使用到影視劇二度創(chuàng)作、趣味惡搞視頻、表情包制作當(dāng)中，其中法律風(fēng)險和侵權(quán)糾紛已經(jīng)出現(xiàn)。

天眼查顯示，上海魚腥草信息科技有限公司就因旗下一款A(yù)I換臉APP而遭多位網(wǎng)紅博主起訴，法院判決該公司公開道歉，并賠償經(jīng)濟(jì)損失。今年3月，一名女性搭乘地鐵時的照片被人用AI軟件“一鍵脫衣”，遭到惡意傳播。

張文浩告訴記者，近期“AI換臉”問題頻發(fā)的根本原因是，多個AI大模型開源，開發(fā)工具非常多，使用門檻極速降低。惡意使用者用開發(fā)工具生成AI內(nèi)容，也很簡單直接。“在技術(shù)上已經(jīng)到了這樣的程度了。”張文浩是清華大學(xué)人工智能博士，對基礎(chǔ)模型、圖像視覺等領(lǐng)域有多年研究。

目前，互聯(lián)網(wǎng)大廠或是正規(guī)企業(yè)沒有做面向C端的AI產(chǎn)品，但這也給了灰色地帶以機(jī)會。

派拓網(wǎng)絡(luò)大中華區(qū)售前總經(jīng)理董春濤發(fā)現(xiàn)，包括AI換臉在內(nèi)的AI攻擊之所以會愈演愈烈，和網(wǎng)絡(luò)犯罪門檻逐漸降低是分不開的。暗網(wǎng)中的一些攻擊工具可以很低廉——甚至不到10美元，而且還出現(xiàn)了軟件即服務(wù)模式和ChatGPT等AI工具，給初級和業(yè)余黑客大開方便之門。董春濤有多年網(wǎng)絡(luò)安全背景，派拓網(wǎng)絡(luò)是一家關(guān)注AI生成內(nèi)容工具對網(wǎng)絡(luò)安全的影響的公司。

派拓網(wǎng)絡(luò)數(shù)據(jù)顯示，從2022年11月至2023年4月初，ChatGPT相關(guān)域名注冊量每月暴漲910%。期間，團(tuán)隊從DNS安全日志中發(fā)現(xiàn)相關(guān)搶注域名的盜用增長高達(dá)17818%。

圖靈三巨頭之一、蒙特利爾大學(xué)的教授Yoshua Bengio此前就預(yù)警了這種風(fēng)險。他在解釋自己為什么簽名贊成暫停超強(qiáng)AI研發(fā)時說，自從ChatGPT發(fā)布以來，大家發(fā)現(xiàn)不那么謹(jǐn)慎守規(guī)矩的玩家會有競爭優(yōu)勢，如果是這樣的話，通過降低謹(jǐn)慎和道德監(jiān)督的水平，就更容易出頭。

AI孫燕姿爆火后，一位互聯(lián)網(wǎng)大廠人士告訴記者，他們公司內(nèi)部其實早就有類似產(chǎn)品，并且能生成比網(wǎng)絡(luò)上效果更好，可以媲美歌手在錄音棚錄制效果的歌曲，但擔(dān)心版權(quán)風(fēng)險以及不可控的其他風(fēng)險，一直沒有面向C端用戶推出。

互聯(lián)網(wǎng)公司們對AI大模型及GPT產(chǎn)品都非常謹(jǐn)慎。目前為止，推出大模型內(nèi)測的公司有幾十家，但都在內(nèi)測，沒有一個向公眾開放。

上述大模型公司技術(shù)人員告訴記者，互聯(lián)網(wǎng)公司都在朝著無害性的生成內(nèi)容方向去努力，如果無法解決安全問題的話，大模型產(chǎn)品是不會真正上線的。

大模型加持的AI產(chǎn)品和以前的AI產(chǎn)品完全不同。上述互聯(lián)網(wǎng)大廠人士舉例說，比如抖音之前推出過一鍵變成漫畫臉，AI換裝等，這些AI玩法屬于定制化的，已經(jīng)提前設(shè)置好結(jié)果了。但大模型加持后，AI生成的結(jié)果完全是隨機(jī)的，“這真的很可怕，根本管不住。”

AI創(chuàng)業(yè)公司的態(tài)度也同樣謹(jǐn)慎。獨到科技產(chǎn)品主要面向B端客戶，為KOL或?qū)I(yè)人士、廣告營銷公司、以及各行各業(yè)有營銷和拉新需求的企業(yè)，提供一鍵式生成視頻的功能。這個產(chǎn)品已經(jīng)成熟，可以向C端用戶推出。但張文浩目前不考慮C端市場。

一覽科技聯(lián)合創(chuàng)始人兼CTO陳錫言認(rèn)為，GPT對話模式已經(jīng)把AI應(yīng)用層覆蓋了一大半，不過好的方面是，垂直2B的領(lǐng)域，創(chuàng)業(yè)公司還是有機(jī)會的。比如文娛行業(yè)，一覽科技目前推出了從AI編劇到AI視頻一整條產(chǎn)業(yè)鏈的AI內(nèi)容生成服務(wù)。影視劇組、MCN公司已經(jīng)使用他們的產(chǎn)品。

產(chǎn)業(yè)與邊界

當(dāng)前面向C端的AI公司也不受投資者青睞。記者統(tǒng)計了最近3個月AI領(lǐng)域投融資情況，獲得投資的B端公司的11個，C端公司有1個，還有5家公司B端、C端都做。投資機(jī)構(gòu)不太敢投C端產(chǎn)品，他們擔(dān)心產(chǎn)品萬一出事，就白投了。

這種教訓(xùn)早有先例。2019年8月底，陌陌旗下產(chǎn)品ZAO也推出過一鍵換臉功能，當(dāng)時ZAO一夜走紅，迅速登上蘋果App Store免費(fèi)榜的第一位。但僅僅過了3天，ZAO就被質(zhì)疑侵犯隱私，被工信部約談，之后下架。2021年3月另一款A(yù)I換臉產(chǎn)品Avatarify經(jīng)歷了類似的過程，這款問鼎過中國區(qū)App Store應(yīng)用免費(fèi)榜榜首的AI換臉產(chǎn)品，3月2日凌晨悄然從App Store下架。

今年以來，國內(nèi)也陸續(xù)出現(xiàn)過一些“虛擬女友”類面向C端的AI產(chǎn)品，可以用AI模擬人類和用戶聊天，但很快被微信等平臺封掉。張文浩觀察到，國內(nèi)大平臺目前不支持這種產(chǎn)品的上線。

記者在各個電商平臺平臺搜索“AI換臉”“AI換臉套餐”均未顯示任何結(jié)果，社交平臺則更多是防止AI換臉詐騙的內(nèi)容。

北京嘉維律師事務(wù)所律師趙占領(lǐng)對經(jīng)濟(jì)觀察報記者表示，目前AI換臉、AI換聲音還不算是一個產(chǎn)業(yè)，是AI產(chǎn)業(yè)滋生出來灰色地帶，通常涉及到侵犯肖像權(quán)或者聲音相關(guān)的權(quán)益。使用他人的肖像和聲音需要經(jīng)過他人授權(quán)，如果通過AI換臉、AI換聲音進(jìn)行詐騙則構(gòu)成刑事犯罪，需要承擔(dān)相應(yīng)的刑事責(zé)任。

趙占領(lǐng)表示，使用AI換臉、AI換聲音的基本邊界是要經(jīng)過他人同意，不能侵犯他人的合法權(quán)益，更不能使用這些技術(shù)手段去從事犯罪活動。

趙占領(lǐng)表示，今年之前，沒有專門針對AI技術(shù)相關(guān)的法律規(guī)定，傳統(tǒng)的法律如《民法典》《民法通則》等民事相關(guān)法律以及《刑法》相關(guān)的法律規(guī)定仍然能夠適用，進(jìn)行規(guī)范沒有問題。今年開始，4月份國家網(wǎng)信辦發(fā)布了一個關(guān)于生成式人工智能的征求意見稿，專門針對AI技術(shù)和AI行業(yè)特有的現(xiàn)象進(jìn)行了規(guī)范，特別是對AI軟件的提供者、AI服務(wù)的提供者，賦予了更多的責(zé)任和義務(wù)。

趙占領(lǐng)提到，AI換臉即使是不以盈利為目的也可能構(gòu)成侵權(quán)，就算純屬娛樂類的換臉剪輯等也可能構(gòu)成侵犯他人肖像權(quán)。

在北京市中聞律師事務(wù)所律師趙虎看來，AI技術(shù)發(fā)展引起的犯罪或者侵權(quán)比較新型，犯罪侵權(quán)的樣式比較多。但他表示，AI換臉作為一種技術(shù)是中立的，這是一個原則，AI技術(shù)相關(guān)產(chǎn)業(yè)不應(yīng)該被否定。趙虎認(rèn)為，如果是在知道AI技術(shù)將被用于犯罪場景或者侵權(quán)場景，仍然提供AI換臉的技術(shù)，這種情況提供者同樣是犯罪者的共犯或者構(gòu)成共同侵權(quán)。

5月16日，OpenAI 創(chuàng)始人兼CEO Sam Altman出席美國國會召開的主題為“AI監(jiān)管：人工智能的規(guī)則”聽證會時，提出希望與政府合作，加強(qiáng)AI監(jiān)管。他提出了三條建議：組建一個新的政府機(jī)構(gòu)，負(fù)責(zé)給AI廠商提供許可證；為AI大模型創(chuàng)建一套安全標(biāo)準(zhǔn)；指派第三方專家獨立審核AI產(chǎn)品各方面的指標(biāo)。除此之外，Altman支持創(chuàng)立一個類似一個國際原子能機(jī)構(gòu)的國際組織，專門負(fù)責(zé)為各國監(jiān)管AI建立統(tǒng)一標(biāo)準(zhǔn)，以統(tǒng)一方向。

張文浩也希望，能有更清晰的法律與規(guī)則，讓AI行業(yè)發(fā)展的前景更為明朗。