快手短视频剪辑制作：快手技术VP王仲远：AI技术在快手平台上的应用

口语 | 王中元，快手技术副总裁

整理 | 王强

校对员 | 柳岩

在AICon全球人工智能与机器学习技术大会（2021）北京站上，快手技术副总裁王中元发表了主题为“AI技术在快手短视频创作与理解中的应用”的演讲，分享了快手在AI技术领域的实践与探索成果。本文由 InfoQ 根据王中元的演讲整理而成，希望对大家有所启发。作为国内短视频行业的领先平台之一，快手拥有3.2亿日活跃用户和5.7亿月活跃用户，此外还有1.8亿海外月活跃用户，短视频存量已达数十万数十亿。在快手平台，用户每天观看短视频和直播内容的时间超过100分钟，

快手平台内容丰富多彩，山水、萌宠、搞笑、极限运动、才艺、美食……应有尽有。从快手平台上的内容流通过程来看快手直播号交易，整个过程可以抽象为三大环节：内容生产、内容理解和内容分发。本次分享将介绍AI技术在这三个方面的应用。

AI技术在内容制作中的应用

AI技术广泛应用于快手平台的内容制作，其中美颜、美体、自动字幕、自动配音是标准的AI基础能力；智能变声、魔术表情、AR/MR、智能视频创作、虚拟主播等都是高级AI应用。

美是几乎所有类似应用程序的标准能力。传统美颜技术主要依靠过滤LUT的方法，需要进行大量的剥离、过滤等工作。

在AI时代，美颜过程中使用了很多AI技术，可以获得比传统方法更自然的效果。除了美颜，还有生发、画质提升、双眼皮等美颜方式，通过AI都可以轻松实现。

在核心技术实现方面，快手采用了-结构，其中重采样卷积结构采用了先降维后升维的网络结构，可以在手机上流畅运行。除了美颜，AI还可以应用于人脸属性的改造快手短视频剪辑制作：快手技术VP王仲远：AI技术在快手平台上的应用，比如年轻人变老、瘦子变胖、改变性别等。

人脸属性转换有两条技术路线。一种是域迁移技术，通过这种方式利用青年组的照片来学习老年组的预设照片。另一种技术路线是利用潜在空间对一些属性进行编辑和操作，比如改变人脸的属性，以达到变老、变年轻或变性的效果。

该平台仍然流行风格化肖像，例如非常流行的手绘，东方国漫风格等。这种复杂的变化基本上是通过等深网络实现的。为了更高效地获取数据，快手团队使用-等方法生成高质量的配对数据，并使用了半监督混合训练框架和Human-in-loop策略来适应风格模型快手 场景的训练和迭代以深度匹配生成的肖像风格化结果。

除了人脸视觉信息的变换，团队还可以对声音进行多种改变。以智能说唱为例，用户只需要上传一段视频，系统就会自动理解视频场景，通过NLP技术生成说唱，利用语音技术生成说唱效果。此外，原声还可以转换成小哥哥、卡通小新、四川话等多种风格。

音频领域的另一个主要AI应用是AI歌手。项目立项两年多，沥青等指标明显提升。AI歌手的能力帮助了很多快手用户，尤其是唱歌不太好的用户，实现了成为歌手的梦想，因为智能变声功能可以通过语音学习用户的音色，准确的演唱歌曲。 AI歌手功能。此外，快手团队还开发了AI自动作曲能力，已在小森歌唱App上线。

很多视觉和声音的变换都会结合快手的神奇表达功能，是帮助用户低成本创作视频的辅助工具。团队将 AI 和 MR 技术融入魔术表情功能中，如在视频中的建筑物上制作熊猫、在地毯上添加图案、飞行许愿灯、在建筑物表面添加 AR 广告等。团队开发的流体特效怎么购买快手号，可以根据手机的方位感应水流的变化。魔术表情功能背后有三个核心模块，包括姿态跟踪、深度估计和场景重建。

智能创作是平台近期在内容制作过程中的研发重点，旨在通过素材混剪，帮助用户更便捷地创作优质短视频。其应用场景非常广泛，如用户增长、商业广告、内容供给补充等新玩法。

例如，具有近乎专业效果的宣传视频传统上要花费数十万美元，并且需要数周才能制作。现在只需 30 秒即可生成 AI 模型。这样专业级的短视频制作能力，每一位用户都能体验到，将高质量的视频制作带入普惠时代。

短视频的智能创作还依托平台强大的素材理解能力，以及跨模态语义匹配、智能配音、语音合成、转场效果等能力，最终合成出效果极佳的视频。

AI技术在内容理解中的应用

当大量内容产生并上传到快手平台时，平台需要了解内容的内容。每天有数以千万计的短视频上传到平台，团队希望让机器能够像人类一样理解这些视频的内容。

理解内容的第一步是对杂乱的视频进行基本的分类和标记，对视频进行分类，就像图书馆总结书籍一样。快手平台的分类达到4到5级，分类树有上千个节点。例如快手短视频剪辑制作，运动属于一级品类，分为游泳、滑雪、健身等子品类。

快手使用这些类别和标签来构造平台上的每一个作品，并将其表达为机器可以理解的多模态。通过多模态，系统可以快速检索平台上与某个视频相似的其他视频。

除了视频级别的内容理解，快手团队还在开发“一切检索”功能，希望实现元素级别的检索。比如视频里谁画了一幅画快手短视频剪辑制作：快手技术VP王仲远：AI技术在快手平台上的应用，一个包的品牌等等，都需要更细粒度的内容理解能力。

快手已经实现了对内容视频中实体或元素的识别能力快手短视频剪辑制作，可以通过识别找到包含相同产品或相似元素的短视频。此功能背后使用了用于多模式理解细粒度元素的系统，包括细粒度主题检测和检索。

AI技术在内容分发中的应用

在内容分发端，快手团队整合了AI技术和推荐技术。

在快手平台上，推荐无处不在，推荐场景有很多差异，比如单栏特色页面、上下表单、双栏发现页面等等。关注页面的推荐包含社交信息，同城页面包含地理信息，等等。

不同推荐场景背后使用的推荐模型也大相径庭。快手在推荐系统中开发了超过1.9万亿参数的模型，同时也深度融合了内容理解能力。

举两个简单的例子来展示内容理解AI技术和推荐系统的结合：

1.视频冷启动。

新视频上传到平台进行结构化理解后，一开始没有其他用户的反馈，很多基于用户行为的推荐方法一开始是无效的。

一种方法是给它分配一个固定的流量池来获取用户的初始反馈，这是一种相对低效的分配方式。

另一种方法是基于内容理解来估计视频质量，并根据不同的质量预测分数给它不同的初始流量分配，以帮助视频更好地传播。

2.长期利益建模。

大多数行业的推荐系统都是基于过去数百个客户体验建模的，快手这种创新的架构升级可以将数以万计的用户行为序列与内容结构化结果结合起来。该技术处于行业领先水平。