国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  最近玄幻网剧《三千鸦杀》AI 换脸的五毛特效吸引了一波吃瓜群众。经过 AI 换脸处理后的剧中角色——面部扭曲、表情生硬、脖子和头颜色完全分离。曾经红遍大江南北的“AI 换脸”为何在该剧中表现得如此不如人意。

  文/力琴徐丹   编辑/四月

  来源:机器之能(ID:almosthuman2017)

  2017 年,AI 换脸技术“DeepFakes”在国外兴起,通过一款简单的教程,即便是技术小白也能将明星或熟悉人的脸替换到影视作品中。

  2019 年,B站 up 主“换脸哥”将《射雕英雄传》中朱茵的脸替换成杨幂,ZAOAppStore 一夜之间刷爆朋友圈,换脸潮流蔓至国内,与之相对应的黑产也快速生长,各种兜售换脸情色视频和软件教程层出不穷,越来越多的人开始抵制 AI 换脸。

  《三千鸦杀》的播出,意味着 AI 换脸技术首次在正统的影视作品中落地,带来实实在在的商业价值。但首次落地效果并不尽如人意,被吐槽效果像恐怖片。

  AI 换脸究竟是如何运作的?已经日趋成熟的技术为何运用在电视剧中还是如此青涩?争议与期待并行,AI 换脸未来会走向何方?

  一  

  AI 换脸影视“首秀”

  效果惊悚惹争议

  网剧《三千鸦杀》播出后,比剧更快火起来的是剧中“青青”角色的 AI 换脸。原本饰演者刘露的脸被换成了另一名演员张鼎鼎。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园
左为原剧饰演者刘露,右为 AI 换脸对象张鼎鼎

  换脸技术并非新事物,早在 2017 年,国外就已经有人将明星的脸换到成人电影女主角中,这种技术称为“DeepFakes”,2019 年,杨幂版《射雕英雄传》和 ZAO 软件的出现让换脸技术流传到了国内。

  但是,上述的换脸技术依然局限在用户自娱自乐的范围,视频也只在自媒体平台传播,而《三千鸦杀》中的换脸是该技术第一次真正被用在影视行业中。

  原饰演青青一角的是演员刘露,2019 年 9 月 18 日,微博爆出刘露在行李过安检时携带的易燃易爆喷雾被扣,但她却趁安检人员不注意,执意携带喷雾入站;事后还与现场工作人员产生激烈争执;最终刘露因阻碍铁路执法人员执行公务,扰乱公共场所秩序被铁路警方行政拘留 5 日。

  随后,芒果 TV 发出解约声明,刘露被雪藏封杀。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  有了行政拘留的案底记录,也就意味着她登上了“劣迹艺人”名单,为新剧免受打压等牵连影响,这次出品方用上了 AI,将刘露的脸换成了另一名演员。

  但 AI 换脸技术在影视行业的“首秀”却并不能令人满意,甚至有些惊悚,换脸过后的青青面部扭曲、表情生硬、脖子和头颜色完全分离。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园
网剧《三千鸦杀》中的 AI 换脸动图呈现

  替代者的五官正脸照违和感浓厚,侧脸看起来就更加吓人。在演员侧身转过去时,五官却脱节依然停留在正脸位置,暴露得最为明显的地方就是嘴巴。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  该剧中的青青只是一个小角色,原本不会引人注意,但拙劣的换脸技术让这个角色迅速出圈,该剧目前在豆瓣评分只有 6.1,热评第一就表示,“是 AI 换脸吸引了我”,还有不少网友说,换脸之后的角色让人“有恐怖片的感觉”。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  二  

  AI 换脸术应用已久 

  利用隐私牟利成黑产

  换脸术应用在影视素材中已经不是新鲜事物。

  它可以追溯到 2017 年,国外一个名为“DeepFakes”的用户在 Reddit 上发布了一个“假视频”,利用深度学习和 AI 新技术,将盖尔·加朵的脸换到了成人电影上。  

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园
盖尔·加朵被换脸到成人影片

  制作人员时国外的一名程序员,他在网上炮制了无数明星换脸的小视频。并且都免费发布了自己的成果和换脸视频教程。

  按照教程,制作一个明星换脸视频非常简单。只需要在网上收集这个明星足够多的面部角度的图片和视频,把它们和你自己的小视频交给人工智能做深度学习,人工智能就可以根据视频里人物的面部轮廓、表情、嘴型等等自动把明星的脸替换上去。

  即使只是一个新人也能在几个小时内做出一部换脸视频,并且越多人使用教程,人工智能换脸的精准度就越高。

  之后人们为了纪念他的贡献,也用他的名字命名了 AI 换脸技术,称之为“DeepFakes”。

  但换脸风波并没有就此而止,两年后还风靡到了国内。2019 年年初,B站 UP 主“换脸哥”将一段 94 版射雕英雄传视频中的朱茵的脸换成了杨幂,迅速在网上发酵并引起了轩然大波,B站视频截止删除前点击量超出 20 万,微博话题阅读量 1.3 亿。让 AI 换脸技术在国内真正火了起来。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  目前该视频已下架,看从流传出的动图看,整个片段毫无违和感,角色面部表情极其自然,如果事先不被告知,完全看不出来这是换脸视频。

  除了杨幂版 AI 换脸,还有网友利用 AI 技术将某平台女主播瞬间变成刘亦菲、杨幂、范冰冰等形象。

  随后,换脸技术软件 ZAO 也在国内兴起,用户只需要在 App 中上传一张照片,就能将自己的脸替换成视频中“谢尔顿”、“周润发”、“白展堂”等人的脸,几乎可以以假乱真。

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  在 AI 换脸刚刚出现的时候,更多的是给某个电视剧或者电影的主角脸换成自己喜欢的明星或者自己想看的人的脸,但随着 AI 换脸技术的不断发展,技术门槛降低,许多电脑小白也能在短期内学会如何进行 AI 换脸。

  门槛降低带来的也就是鱼龙混杂,许多人看到了“商机”,对情色片进行换脸并打包售卖,逐渐形成了 AI 黑产。据《智东西》记者 2019 年调查,在国内,AI 换脸俨然已经形成了一个黑产产业链,上游提供软件及技术、中游提供视频、照片定制、下游售卖成品视频,也有的商家做全产业链的生意。

  贴吧、QQ 群等地方均有相关产品售卖,包括成品情色视频、售卖定制视频和售卖软件及教程等,成品情色视频价格从 2 元 1 部到 30 元 46 部、100 元 150 部和 100 元 200 部不等,一般都是打包售卖,视频以国内一、二线女明星为主。

  除了侵犯名人隐私和助长虚假情色信息泛滥外,换脸技术对每个使用的人都有侵权隐患。在 ZAOApp 中,用户无法使用名人肖像,只能上传自己照片换脸,而且在软件隐私协议中,用户照片的使用权已经移交给了软件。

  另外,据《新京报》分析,换脸技术还有可能会导致诈骗,不法分子可以利用某个人照片假装其被绑架,向父母索要钱财。

  所以,从这一技术诞生起,针对他的争议和限制就从未停止过。DeepFakes 视频发出以后的好几个星期,网络上不断有人发表文章和报道,抨击这一换脸技术。该技术会给很多无辜清白的人(像那些无故出现在成人电影中的艺人)造成困扰;“假视频”会加剧虚假新闻的散播,进而将大大损坏视频作为证据的可信度。斯嘉丽约翰逊等受害明星也在发声,称这种技术已经损害了自身肖像权。

  去年,Facebook 还联合微软、麻省理工大学等业界和学界的伙伴共同置办“Deepfake 检测挑战赛”(DFDC),旨在找到一款能检测视频是否被换过脸的工具,并且它能被每个人便捷操作。

  在我国,2019 年 5 月底,国家网信办会同有关部门发布《数据安全管理办法(征求意见稿)》,其中要求,网络运营者利用大数据、人工智能等技术自动合成新闻、博文、帖子、评论等信息,应以明显方式标明“合成”字样;不得以谋取利益或损害他人利益为目的自动合成信息。

  三  

  “以假乱真”的换脸技术究竟如何运作?

  技术本身并无好坏之分,关键在于我们如何使用,就影视行业而言,AI 换脸是有一定助力作用的,《三千鸦杀》本应该是这一技术正确使用的例子,但相比用户自制的“完美无缺”的视频,为什么《三千鸦杀》呈现出来的结果非常粗糙?

国内网剧AI换脸术首秀:“五毛特效”,大型“车祸”-冯金伟博客园

  Al 换脸顾名思义就是在图像或视频中把一张脸替换成另一张脸。首先需要做的就是数据准备,也就是收集原始人脸的图像和目标人脸的图像。其次还需要捕捉不同的脸部姿态、角度、表情以及光照的脸部图像,需要进行专门的数据处理,以达到“以假乱真”的效果。最后,计算机系统需要对人脸表情变化的关键点进行面部捕捉,比如眼睛、鼻子、下巴、颧骨、脸颊等,进而依照这些特征点进行脸部替换。

  目前用户自制的换脸视频主要是用 DeepFakes、Face2Face 和 CycleGAN 技术。

  DeepFakes 使用的主要过程包括,人脸定位、人脸转换、图像拼接。其中人脸定位已经非常成熟,一般定位算法可以生成人脸的特征点,例如左右眉毛、鼻子、嘴和下巴等等。人脸转换也就是采用 GAN 或 VAE 等生成模型,目标是生成拥有A表情的B脸。最后的图像拼接则是将人脸融合原图的背景,从而达到只改变人脸的效果。

  Face2Face 利用面部追踪技术和图像算法,将一个人的面部表情、说话时肌肉的变化复制到另一个视频中的目标人脸上,从而实现面部重演。CycleGAN 则是一种无需成对示例便可自动进行图像到图像转换的技术。

  普通人用 AI 换脸自娱自乐尚且可行,但一旦进入到专业领域,技术的运用就没有那么简单。在影视剧中,“换脸”一直是一件高成本的事。

  据娱乐自媒体“娱哩”,在影视剧中常用的比较精致的换脸技术是手动换脸,但市场价格在十几万元每分钟,明显不是一部小成本网剧可以承担的,而 AI 换脸的价格大概是 1.5 万元每分钟,相差了十倍左右。最后从画面上来看,《三千鸦杀》没有选择手动换脸,而是用 AI 技术,程序自动导出。

  但是 AI 换脸技术在影视中的应用并不成熟,需要一定的专业背景。

  把朱茵替换成杨幂的人在早期采访中提到,制作那段几分钟的视频他整整用了一星期左右,而整个操作过程还需要一个比较好的 PC、一个特别好的显卡,甚至要租(海外)服务器使用,“普通电脑是做不了的,这项技术对民用来说,难度还是很大的。”

  一位特效制作人在接受媒体采访时表示,《三千鸦杀》效果现在看起来不协调,是因为贴合度不够。“这个技术真的很难的,目前他们只做到了跟上,做不到彻底、完美的贴合。

  从影视制作、日常娱乐视频再到换脸黑产,换脸技术影响行业的方方面面。简单易用的技术让用户可以任意生成内容,在丰富内容创造工具与素材的同时,却也让个人隐私与黑色产业问题被放大。但技术被利用得到仍然可以带来积极影响,比如这次为就“问题”演员的新剧上档解了燃眉之急。

  但从目前效果来看,AI 换脸技术从娱乐到真正的规模化和商业化应用,仍有明显差距。