快手运营张：AI研究，从论文到应用有多远？快手用户张小姐教穿搭

奥飞寺的郭一普

量子位报告 | 公众号

人工智能研究从论文到应用有多远？

我们见过很多有趣的AI应用，修改图片、编辑视频、生成音乐。

但要感受AI技术带来的乐趣，门槛还是很高的。普通人，比如老家的叔叔阿姨，很难开个 Colab 跑 Demo。

然而，快手却是“让村里的老人体验AI的乐趣”。不管他们用的是多么低端的硬件，千元机还是百元机，通过快手一系列AI技术的积累和算法优化，普通人也能体验到人脸识别、身体识别、手势识别、人体分割、AR等神奇表情，享受前沿科技带来的乐趣。

比如让“哥斯拉”来到工地。

△来自快手用户星云“Xy”

又比如，利用“萌脸”魔术表情，全家人戴上绿色爆头，跳起最流行的拳击舞，毫不拖延地戴上头饰，展现各种表情。

△来自快手网友张小姐教穿搭

近日，快手最新款AI交互设备在美国加州引爆会场，引得所有参会人员驻足体验，并赞叹：好看！有趣的！甚至被现任CVPR主席朱松春教授誉为最优秀的展厅。

通过多模态整合人脸识别技术、身体识别技术和手部动作识别三种AI技术的识别结果，使虚拟3D图像能够复制体验者的面部表情、身体动作和手部动作。即时的。

通过面部关键点识别和面部表情识别，虚拟图像可以跟随体验者实时做出微笑、闭眼、张嘴、吐舌头等50多种细微表情。

通过3D人脸重建技术，恢复世界坐标空间中人脸的3D几何信息和头部的姿态，用于精准驱动头部的旋转和人脸的朝向。

此外，它还充分考虑了身体动作的物理限制，有效避免了真人身体无法完成的动作。

早在两个月前，快手APP也采用了这项技术，让多个知名短视频动画IP形象开启直播，与用户实时互动。一禅小和尚3D影像首播49分钟，获得64.9万点赞，超过25万观众。热心的一禅小和尚治愈了很多用户。

这些各种AI玩法背后的技术基础是什么？

在今年的CVPR上，快手Y-tech西雅图人工智能实验室和FeDA商业Y-tech联合实验室负责人刘霁和快手Y-tech硅谷实验室负责人王华燕揭开了背后的秘密。

七个支撑，三个实验室

在快手中，AI技术不仅用于常规的内容分发和广告推荐，更重要的是用于短视频和直播的制作。

这背后，依托于快手的计算机视觉、图像处理、语音识别、多模态理解等多项技术，以及七大AI技术组成的技术平台和底层支撑。

用户行为推荐需要高效的线下和在线学习培训服务推荐系统，能够对万亿级特征大数据进行全链路实时在线学习。在这里最大的快手号交易平台，快手的广告推荐离线训练系统达到了100个T数据，100个G特征，1小时内完成训练。

在手机上实现该技术需要基于深度学习的模型压缩。快手使用自创的端到端模型压缩算法，不仅发表了很多论文，而且在线上超越了实际表现。过去使用的经典算法。

从游戏到广告竞价快手运营张：AI研究，从论文到应用有多远？快手用户张小姐教穿搭，人工智能系统的决策能力也在经受考验。快手的专家团队利用强化学习，将多种智能决策技术应用到用户每天看到的短视频中。

其背后的神经网络基础依托自主研发的YCNN深度学习推理引擎，针对不同的手机硬件进行适配优化，让用户无论身在何处，都能拍出各种特效。保证实时性和流畅性。

此外，在机器学习方面，快手拥有自己的机器学习平台，结合了自主研发的服务器资源虚拟化技术、RDMA高速网络、CPU/GPU/F-PGA异构计算系统和共享存储系统提供快手公司内部AI的基本功能。还特别推出了亚瑟自助机器学习开发平台，以全自助的方式简化机器学习开发的操作。

有了工具，还需要数据支持。快手免费的大数据平台提供海量多模式数据存储、异构资源调度、/Mxnet/XDL/MPI等各种主流机器学习引擎的分布式训练和预测。

除了7大平台，快手在美国还拥有西雅图、硅谷和圣地亚哥三大实验室的人才和技术支持。

快手Y-tech 西雅图人工智能实验室

快手Y-tech西雅图人工智能实验室和FeDA商业化Y-tech联合实验室负责人刘霁教授，从事机器学习和人工智能研究超过15年。

此前，刘霁教授和快手创始人苏华35岁以下获得了2017年MIT中国35位最佳创新人才奖，两人也恰巧在颁奖之际相遇。他们还研究了机器学习领域，类似的经历让他们一拍即合。

在这样的命运下快手运营张，刘霁教授于去年10月加入快手快手直播账号出售，成为西雅图两个实验室的负责人。同时，他还在罗切斯特大学计算机科学系和电气工程系任教。

西雅图实验室是美国快手三大实验室之一，主要关注智能决策问题，并承接了大量快手主营业务，如商业广告推荐、竞价、大-规模化离线训练平台、游戏AI及游戏关卡自动生成、手机端AI模型优化、视频图像分析、理解与生成等。

对于一项人工智能技术的研发，必须以数据为基础，合理设计和训练模型，让人工智能系统真正运行起来。但是，对于快手来说，模型压缩是AI模型服务于千元机大众的关键一步（Model）。

刘霁教授表示，AI技术落地的时候，越是用在性能不太好的模型上，对技术的挑战就越大，而模型压缩的任务就是让AI能力服务每一位用户。 . 关键的一步，这也是西雅图实验室除了训练AI模型之外的主要任务。

所以像这样的娱乐效果，把熊二变成现实，或者变身雷神，无论是强大的旗舰机还是普通的千元机，快手都可以保证。

△ 来自 快手 用户任性聪明

△ 来自 快手 用户 Ramen -Xin Ramen

除了短视频平台，快手的业务还涉及广告和游戏。在广告方面，西雅图实验室主要采用强化学习等方法来实现广告推荐、竞价等功能。

刘霁还带领FeDa商业化Ytech联合实验室在广告推荐方面进行了一些技术创新。此前，对于一个广告推荐商业化平台，业界通行的做法是使用CPU快手运营张，效率低下。刘霁团队对这种方法进行了改进，换成了GPU的方法，单机效率提升640多倍。以前需要 50 台 CPU 机器来训练 20 个小时的数据，而现在只需要一个 GPU 来训练 1 个小时。

游戏方面，快手拥有近百款自研小游戏，AI也应用在游戏中，一是游戏AI，二是游戏关卡的自动生成和难度评估，还有游戏数据分析和智能运营。

比如三消游戏需要更新新的关卡，但是手动设计关卡和测试关卡的工作量非常大。因此，在快手中，使用AI系统自动生成关卡，自动测试难度，获取通关率。相当准确，错误率只有7~8%左右。

目前西雅图实验室虽然只有十几个人，但是效率非常高。研究方面，今年有7篇论文被主要会议录用；而在实施方面，通常只需要一周左右的时间就能实施实验结果。正式投放市场。

快手Y-tech 硅谷实验室

快手Y-tech硅谷实验室主任王华燕毕业于北京大学，后赴斯坦福人工智能实验室攻读博士学位。加入快手之前，王华燕曾在硅谷人工智能创业公司担任高级研究员。

硅谷实验室位于斯坦福校区附近。与之前介绍的西雅图实验室不同，快手硅谷实验室更专注于计算机视觉，利用AI为用户打造各种特效，为短视频增添丰富感。丰富多彩的内容。

例如有这样的：

也可以实现这样的变化，直接把静态照片变成延时摄影，白天变成夜景：

在用户的手机上实现和部署这些功能是硅谷实验室的核心技术挑战。

“这里面有两大挑战，一是我们需要以非常高效的方式训练和开发模型，二是我们还需要让这些模型以最高的效率运行在移动设备上，所以有必要在数据和计算上都达到非常高的效率，”王华燕说。

例如，在视频图像分割中，目前的方法是将大量图像标记为数据集，用于监督学习来训练模型。但是快手运营张：AI研究，从论文到应用有多远？快手用户张小姐教穿搭，这种方法不是很有效，并且比只需要少量样本的人类学习方法效率低。

也正因如此，快手硅谷实验室在不断的招聘人才，完善AI算法，提高数据和计算的效率，让模型训练和部署能够高效完成。

门户网站

最后，快手Y-Tech AI Lab 和罗切斯特大学的研究人员提出了一种基于能耗建模的压缩方法。这部作品的论文也收录了，有需要的朋友可以领取~

ECC：--通过模型深入

作者：杨、朱雨浩、刘季

/abs/1812.01803

-结束-

量子比特·

վ'ᴗ' ի 追踪人工智能技术和产品的新发展

戳右上角“+关注”获取最新消息↗↗

喜欢的话，请分享或点赞吧~毕心❤