编辑部 整理自 MEET 2021
量子位 报道 | 公众号 QbitAI

AI技术，究竟能在哪些行业实现规模化应用？

这是视频行业面对AI浪潮，交出的一份答卷：

素材智能检索、老电影修复、音色克隆、虚拟动漫偶像……

爱奇艺将最前沿的AI技术，落地到视频创作、内容分发中去，真正让创作者提升效率、让消费者简单快乐。

在MEET 2021智能未来大会现场，爱奇艺副总裁谢丹铭表示：

用AI结合科技与艺术，能促进整个产业的升级发展。

在不改变原意的基础上，量子位对谢丹铭的演讲进行了编辑整理。

关于MEET 智能未来大会：MEET大会是由量子位主办的智能科技领域顶级商业峰会，致力于探讨前沿科技技术的落地与行业应用。本次大会现场有李开复等20余位行业顶级大咖分享，500余名行业观众参与，超过150万网友在线收看直播。包括新华社、搜狐科技、澎湃新闻、封面新闻等数十家主流媒体在内纷纷报道，线上总曝光量累计超过2000万。

演讲要点

 

• 这场疫情，极大地提升了技术、尤其是智能技术在产业中的重要性。
• 目前，国内有上万部需要被拯救、保护的胶带电影。如果利用AI修复，就可以省去80%的繁复工作。
• 爱奇艺为内容创作者提供了一个素材库，让他们不再需要去盗版网站找视频素材。
• 我们希望降低广告对用户的打扰程度，让广告也能成为用户获取信息的手段。
• 通过AI，将科技与艺术进行结合，就能促进整个产业的升级发展。
• 用AI让创作者提升效率，让消费者简单快乐。

 

（以下为谢丹铭演讲分享全文）

疫情加速视频创作智能化

今天，我演讲的题目是“智能时代的内容创作与消费”。

在即将过去的2020年里，多数产业遭遇较大冲击，呈现出一个或深或浅的“V”字型走势。

演讲之前，孟鸿老师问了我一个问题：爱奇艺和视频行业，应该会是疫情的受益者？

其实不然。

如大家所见，年初由于疫情，很多人在家办公，加之寒假，我们的消费指数飙升得很高。

但在这之后，上下游和合作伙伴受到疫情冲击，我们也难以独善其身。在疫情期间，由于很多片子无法拍摄，出现了内容供给跟不上、广告预算大幅减少的情况。

经过思考，我们试着将内容创作搬到线上，实现了一个云录制系统。

此后，我们利用AR、MR等XR技术，实现了虚拟制作，相当于搭建一个虚拟的棚，在棚里进行电影、电视剧拍摄。

我们还利用智能化技术，提升了广告投放效率，减少了预算损失。

这场疫情，极大地提升了技术、尤其是智能技术在产业中的重要性。

目前，爱奇艺打造的智能平台，主要用于服务两部分人群：一部分是上游的内容创作者，另一部分是用户消费者。

其中，内容创作者主要分为三类。

一类是传统的长视频创作者，包括导演、演员和后期制作人员，他们主要创作电影、电视剧、综艺、动漫及儿童动画片等类型的作品。

另两类则分别是短视频、小视频创作者，包括许多MCN（Multi-Channel Network）机构和UGC（User Generated Content）创作者。

那么，如何服务这些内容创作者？

以综艺节目为例，爱奇艺最早投入、使用了一个大型AI综艺创作系统，名为“爱创媒资系统”。

在综艺录制现场，通常会有五六十个、甚至上百个（固定或移动的）摄像头同时进行拍摄，产生大量录制素材。

这些素材的数量，是普通视频素材的几十倍、甚至上百倍，手动处理起来非常麻烦。

但如果用AI来处理这些素材，例如进行时间对齐，就能提升10倍左右的效率。

而利用AI，还能智能化地给素材片段打标签，如用AI识别音频中的演员台词、进行语义理解，让导演、后期制作人员能快速检索到想要的片段。

这些素材中，也有许多待删减部分，如模糊片段、黑镜和噪音废片，也都能用AI快速识别、处理。

事实上，最后的视频成片，并非综艺现场的原始记录，而是一种艺术创作。过程中，素材检索是非常重要的一环。

除此之外，AI还能被用于视频审核、商务植入和视频宣发中。

例如，视频制作时，要求某一角色不能露出胡子、纹身，那么我们利用AI，就能快速找到这些不符合要求的内容。

在商务植入时，也能利用AI可以快速地计算植入时长。

至于宣发阶段，也能用AI制作宣传和预告片。

例如，用AI学习视频帧的图案，并快速产出各种各样的宣发视频、预告片段。

用AI修复老电影、制作动漫

而在电影创作上，爱奇艺也做了一个名为ZoomAI的视频增强技术。

这是一个AI功能包，能完成去噪、前景提亮、超分辨率、插帧等视频优化算法。

上个月，我们还和厦门大学的人文学院成立了一个联合实验室，专门修复像《小兵张嘎》这样的老电影。

现在，国内还有上万部这样的胶带电影，需要被拯救、保护，如果利用AI修复，可以减少80%的工作，剩下的20%再交由厦大的同学，一帧帧手动审核修复。

目前，爱奇艺也已经“出海”，将业务延伸到了海外。

但无论是东南亚还是欧洲，语言都呈现碎片化特点，在不同的地区，可能出现多种不同的语言。

例如，仅东南亚一个地区，就有印尼语、马来语、泰语等多种语言。

如果要做一部视频的海外配音，就需要找各个角色的、不同语言的配音演员，成本会非常高。

因此，我们构建了一个AI音色库，利用Voice Conversion（语音转换）来配音，只需要给每个角色找一个“演员”，就能完成所有视频的配音。

相对来说，TTS（语音合成）无法准确表达语气、语调，但Voice Conversion却能用另外一种音色，将情绪很好地表达出来。

电影之外，还有一个相对庞大、有前景的产业，就是动漫。

在中国，大概有4亿的二次元人群。

我们调研发现，动漫产业的创作者，基本还是在用PS等传统工具进行创作。

过程中会先画出线框、再完成上色，其中光是上色阶段，就占据工作量的40%~50%。

用AI工具，能帮创作者提升不少效率。

例如，让创作者指定一种风格，比如“赛璐璐”。利用风格迁移，AI立刻就能完成“赛璐璐”风格的线稿上色。

如果涉及AI没有学过的风格，也可以先手动给关键帧上色，再利用特征迁移，将上色风格迁移到其他帧中。

这些操作，能让线稿上色效率提升80%左右。

上面这些AI操作，是针对传统、制作精良的动漫设计的。除此之外，还有一种名为轻动漫或者动态漫的动漫类型。

这种动漫，可以理解为给漫画加了一点动效，让人物能够走动、说话。

现在，轻动漫在网上的传播量非常大，我们也已经能利用AI，制作这种动漫。

只需要用AI对动漫人物进行面部识别，再做唇形驱动，就能让人物的嘴巴动起来，接近人工制作的效果。

此外，爱奇艺今年还推出了跨次元新星的虚偶选秀节目。

其中，左边的“小满”是虚拟手语主播，右边的“小又”，则是虚拟节目主持。

利用TTS和Voice Conversion合成声音、加上唇形和表情驱动合成口型，就能让她们开口“说话”。

“小又”上线后非常受用户欢迎，节目的播放量也有所提升。

如何用AI创作UGC作品

我们分析发现，UGC创作的过程，大致可以分为几个阶段。

首先，用户会想出一个创意，围绕创意搜集一些素材，根据素材寻找合适的背景乐，最后在剪辑工具中完成视频创作。

每个阶段，我们都能用AI帮助创作者减少一定的工作量。

比如，爱奇艺有许多明星的“粉丝视频”，即粉丝创作的视频。

要想制作这样的视频，只需要利用我们的“一键成片”功能，就能用AI分析一部明星出演的电影，并在10秒内创作关于这个明星的短视频。

像易烊千玺的粉丝，只需要选择“易烊千玺”，再选中他出演的电影《少年的你》，点上背景音乐，就能完成粉丝视频的创作。

这种视频，也叫“舔屏向”视频，其中“舔屏”，指喜爱某个明星到想要舔手机屏幕的程度。

当然，爱奇艺还给内容创作者提供了一个素材库，不再需要去盗版网站找视频素材。

我们在随刻创作APP的素材库里，利用AI对站内的长视频进行内容理解，并打好了人物、动作、场景等标签。

创作者可以快速找到所需素材，加进自己的作品中。

此外，APP也能根据创作的视频内容，智能推荐较匹配的背景音乐。当然，还可以用TTS来配音、或是用ASR给视频填充字幕等。

有了AI，看视频变得更简单

对于用户消费者，我们则希望用智能技术，为他们提供优质服务。

例如，用智能搜索、推荐算法，让用户快速找到喜欢的内容。

同时，我们也希望给用户提供更好的感觉，例如，在视觉和听觉上，给用户以高清、流畅的体验感。

此外，我们还想给用户提供更自然、好玩的互动场景。

目前，用户已经能通过语音和手势，对手机、平板、笔记本电脑、电视等各种电子设备上的爱奇艺APP进行操作，交互变得更加自然。

但爱奇艺APP覆盖的设备，还包括VR头盔、家庭娱乐设施及车载APP等，其中，有些设备无法很好地用键鼠、触控进行输入。

因此，我们做了一个Home AI的语音交互平台，可以做语音识别。

不仅如此，这个平台还能识别音色，根据音色来推荐内容。

例如，根据音色年龄（老人、年轻人或小孩），平台能给你推荐相关的视频。

同时，平台还可以做一些智能搜索，如根据知识图谱，进行剧情智能问答。

还有一个受小朋友欢迎的功能，即用AI克隆家长的音色、来制作朗读绘本。

除此之外，AI还能被用于我们的拍摄APP中，包括AI美颜、美妆等。

利用这些功能、加上AI的人脸识别技术，我们做了许多有意思的创新，例如一些小游戏。

这是《青春有你》的虞书欣同学，示范的一个“吃鸡腿”小游戏，用到了五官、轮廓识别的AI技术。

当她没吃到鸡腿时，AI就会在她的轮廓上套个黑帽子。

除了这些技术以外，AI还能帮我们“智能查询”视频中的信息。

例如，看视频时，用户想知道其中某个演员叫什么、饰演过什么电影，或是想知道视频的背景音乐、想了解一段台词的涵义。

因此，我们做了一个叫“奇观”的智能识别平台，不仅能识别视频中的演员、背景音乐，还能查到台词的意思。

去年，“奇观”还实现了“卡通识别”功能，像《小猪佩奇》里的猪爸爸、猪妈妈，都能识别出来。

如果在大街上看到一张海报，还可以用爱奇艺的AR扫一扫，来识别明星。

用AI，促进产业升级发展

在爱奇艺，广告不仅是一个变现的手段，也是一种可以消费的内容。

我们希望，广告能够降低对用户的打扰，成为用户获取信息的一个手段。

针对广告的个性化、精准化，我们今年也做了不少工作。

我们对爱奇艺的站内长视频进行了精准分析，做了两三千组标签，包括人物、场景、动作、行为和转场景等。

这样，客户在投放广告时，我们就可以根据他需要的场景，来进行定向投放。

例如，某个视频中出现了购物场景，我们就可以给用户投放一个电商广告，来降低对用户的干扰、增加客户投放效率。

当然，还有叫做“Video In”的广告，也可以用AI来识别场景，看哪些点位可以用来投放。

例如，想要植入某种药物广告。通过AI，我们识别到视频中有一张桌子，就可以把这瓶药放上去。

或是识别到视频中有一堵墙，也可以在上面放一个广告框、贴上广告。

这种原生植入的广告类型，同样受客户喜欢。

此外，爱奇艺还会直播一些如足球、网球等体育节目，我们会对其中的直播流进行实时分析。

如果出现了“高能”场景，如足球进球、或是网球得分，我们也会及时插播广告。

这些在精彩时刻推出的广告，效果很好。因为这种场景下，观众的注意力也会非常集中。

除此之外，我们也能利用AI，为广告做不同的个性化海报。

针对用户的特性，我们能让AI生成各种风格的海报，针对性地进行分发，能极大程度上提高用户的点击率。

刚刚提到的这些用户创作、广告消费的AI功能，只是爱奇艺这个“智能板图”中的一部分。

在视频制作方面，我们也上线了剧本分析、流量预测等功能，至于内容剪辑，也包括智能拆条、智能混剪等AI工具。

在后台中，涉及AI的应用就更多了，包括AI翻译、审核等工具，都是各大视频网站的标配。

我们希望通过AI，将科技与艺术进行结合，来促进整个产业的升级发展。

最后，我用一句话结束今天的演讲：创意让梦想绽放，科技让快乐简单。

这句话，不仅是爱奇艺的使命，也是我们做AI的同学的梦想和目标。

谢谢大家！

“