那么多短视频特效,凭什么抖音出的这么火

AI资讯1年前 (2023)发布 AI工具箱
281 0 0

说到短视频特效,你或许第一时间会想到“抖音特效”。

没错,抖音的特效似乎总是火到出圈,像用一段视频让你“重返三岁”:

又或是1个动作就打破次元壁,PDD也变得眉清目秀:

事实上,与AI相关的特效技术,国内外也有不少APP在做,但运行到手机上后,最出圈的往往还是抖音。

同类特效,背后所用的AI技术其实是接近的,但抖音做出的特效,渲染真实、运行流畅、爆款也更多。

抖音特效常青的秘诀,究竟是什么?

一款特效的创意无法预测,但渲染效果运算时间却能被打磨到极致。

其中,渲染效果依靠CV(计算机视觉)+CG(计算机图形学)两类算法的提升,而运算时间则依靠模型的优化。

对于计算机来说,CV算法能让它精准地“看懂”一张照片中的内容。小到特效的贴合度、实时跟踪的精度,大到整个图像的分辨率提升、风格改变,都属于CV算法的范畴。

像合成大菠萝这种贴脸特效,或是高清修复老照片,又或是“重返三岁”、“漫画脸”这类整体画风的迁移,都属于CV算法的“职责”所在。

抖音所用的CV算法,基本靠自研。仅CVPR 2021一场顶会,字节跳动合作入选的论文就有14篇,涵盖NAS、图像修复、行为识别等方向,同时在移动目标检测、细粒度图像识别、视频分类等细分领域竞赛中夺冠。

再说CG算法,它能让计算机做出以假乱真的特效效果,结合CV算法贴合到图片或视频上。

像常见的PBR算法,只是渲染“基操”;电影中常用的粒子系统,抖音同样也会用到手机特效上,此外还有透明材质、bloom效果……都更接近真实场景,而不仅仅是2D贴纸。

然而,无论CV算法还是CG算法,往往都是模型越大,做出的渲染效果才会越好。

影视业界甚至流传这样一个说法:“一个1秒钟的顶级特效,用专业渲染算法去实现的话,可能需要连续渲染上50天。”

这样的特效模型,绝对无法符合用户的实时拍摄需求,更别提流畅度。

但据火山引擎技术专家杨辉表示,抖音5MB的渲染特效,就能达到媲美虚幻引擎实现的效果。

没错,为了确保特效运行流畅,抖音的特效模型严格限制在5MB以内,便于用户实时使用。

这5MB,包含模型、贴图、动画、特效和逻辑触发机制……在内的所有文件。

压缩到极致的运算时间背后,是自研渲染引擎+云渲染技术的结合。

渲染工具上,抖音没有选择采用Unity或是虚幻引擎进行特效制作,而是针对短视频和AR,自行研发了轻量级的渲染引擎

自研引擎着重对短视频拍摄所需的特效算法进行了增强,舍去了部分游戏专属、短视频不需要的特效,保证渲染的效果。

同时,为了让特效用上更好的渲染算法,抖音自研了云渲染技术,将原本要用手机硬件计算的特效,放到服务器端进行计算,再将效果实时传输给用户。

这样原本计算量在GPU级的渲染特效,现在也能在手机上实时完成,带来的效果提升也显而易见。

例如,渲染算法中的粒子系统,只有用GPU计算,才能发挥出更好的效果(烟花特效);相比之下,CPU计算的粒子系统效果要更为单薄(控雨特效):

但前沿的CV+CG算法和自研工具,只是抖音特效的一部分秘诀。之所以能爆款频出,离不开其成熟的产出流程、覆盖场景全面的工业化体系。

一项技术能否常青,取决于它带来的产品能否批量化生产、适用场景是否全面,对于特效也是如此。抖音特效,已然符合这两个条件:

一方面,据抖音与火山引擎联合发布的《抖音特效数据报告》显示,2021上半年,抖音平台平均每天上线超过100个特效爆款,用户平均每5个投稿里,就有1个使用特效。

这意味着,抖音已经具备了流水化生产特效的能力。同时,这些特效的质量,足以让五分之一的投稿使用它们(抖音的日活用户目前已达到6亿)。

这也让特效设计变得更加容易。在抖音将特效变成一个“创意生产线”之前,特效设计师并不是一个“低门槛”职业。据抖音爆款设计师游洋表示,自己原本是一名影视后期,但却成功当上抖音特效师,身边也有越来越多的同行,正在投身这个职业。

另一方面,抖音特效技术的应用场景,早已不止抖音APP,而已经触及到各行各业。

汽车行业,用特效实现的AR看车;美妆行业,用特效进行AR试妆;传统媒体行业,用数字人技术做出虚拟主持人、虚拟客服……

可以预见的是,抖音特效已经不再是原本拍摄短视频时所用的特效,而正逐渐成为一种“创意数字内容”。

出圈的抖音特效,成为字节增长秘诀中,又一块不可或缺的重要版图。

现在,字节跳动将它们全部公开了——以火山引擎的方式。

没错,就像字节管理能力的“井喷”产物飞书一样,字节技术能力的井喷,带来了火山引擎。

作为字节内部曾经使用的技术平台,火山引擎不止“存储”着抖音所有特效背后的算法技术能力,也包含特效从制作、质量把关到落地的所有工程技术。

制作上,为了加快生产速度、降低技术门槛,字节将抖音特效背后的算法技术,变成了各种模块化组件。

例如,抖音将常用CV、CG算法做成组件后,设计师只需要拖动读条、或是按下按键,就能在特效中用上这一功能。

而包括从训练到推理在内的算法生产过程,抖音全都采用自研推理框架和训练平台,确保最适合APP的运行速度。

质量审核上,特效设计会进行效果评级,资格足够才能予以上线;同时字节内部也成立了专门的创新小组,保证算法的前沿和创新性,设计出更多满足设计师需求的组件(顶会论文就有不少出自这里)。

落地上,抖音还会考虑用户体验度、不同场景下客户的定制化需求。

例如,抖音采取了如不同手机性能的分级策略、运行速度优化等技术措施,将系统崩溃率降低至10万分之一。

同时,采用资源下发等技术,确保用户能在不更新软件的情况下,使用新特效;面对不同场景时,抖音特效的也能适应不同分辨率、接口类型和机型。

这一切,和前沿的算法技术一起,共同构成了抖音特效成功的秘诀。

7月28日,火山引擎和抖音联合宣布,将上万抖音同款特效开放给客户。

这意味着字节正在将包括算法、道具资源在内的抖音特效的所有优势,全部对外提供技术服务,让更多人享受这一集大成的结果。

目前,像懂球帝、心心APP等一众企业产品,已经在使用火山引擎作为自己的业务增长技术。

未来,火山引擎也计划进一步引入最新的技术如端云协同多人互动,来增强用户和客户的特效体验。

可以想见,更精致的特效、互动性更强的技术,都将成为抖音未来的发展方向。

同时,特效技术的发展,也会进一步给各行业带来更多的惊喜。

以影视和游戏行业为例,这两项技术能极大地减轻视频后期制作、降低游戏美术成本。例如在某个角色身上加个马赛克、或是做个智能贴图,都不需要再一帧帧去手动调整,算法自动就能完成这些步骤。

这样公开自己所有的增长技术,字节害怕同行的竞争吗?

杨辉表示,不害怕:

随着时间推移,任何一项新技术的准入门槛,都会越来越低。我们能做的,不是去打价格战,而是去拓展、更新技术,保证自身的竞争力。

这个角度来说,字节跳动的增长技术,确实没有秘密。

© 版权声明

相关文章

暂无评论

暂无评论...