快手Y-tech万鹏飞:短视频UGC智能创作中的CV手艺和生长趋势

2021-06-11 网络
浏览
[科技新闻]快手Y-tech万鹏飞:短视频UGC智能创作中的CV手艺和生长趋势

克日,2021全球人工智能手艺大会在杭州召开。本次大会搜集来自天下各地的人工智能领域专家,配合为人工智能的未来生长建言献策。在6月5日召开的盘算机视觉专题论坛上,快手Y-tech部门AI手艺平台认真人万鹏飞受邀揭晓了题为《短视频UGC智能创作中的盘算机视觉手艺》的演讲,从产业的角度分享了盘算机视觉手艺在短视频智能创作偏向的应用和生长趋势。

快手深耕短视频内容创作生态,UGC智能创作降本增效

作为国民短视频社区,快手用户日均使用时长99.3分钟,整体日活达3.792亿。在重大的用户与流量基础上,快手形成了富有活力的内容创作生态,平台内有300亿 原创视频库存,每月新增创作者1000w 。其中大部门内容是宽大通俗用户创作的,即UGC(User Generated Content)。据万鹏飞先容,UGC强调人机协同,内容创作的主体是人,手艺辅助人做创作;智能创作则强调手艺有一定的自动化能力,可在内容创作中起到“降本增效”的作用。对应到现实产物中,快手系产物的UGC智能创作主要涵盖了三大类功效:人像美化功效、影音特效功效和自力创作工具。

人像美化功效:快手的人像美化功效包罗美颜、美型、美体、美妆、滤镜、画质增强等。除经典的基于图形图像处置的手艺方案外,快手将基于深度学习的CV手艺融入到了人像美化中,大幅提升了用户体验。例如用神经网络来提高人像照片的画质或让照片中的人更年轻,以及通过环境光照估量使美妆效果在现实场景中加倍自然等。

影音特效功效:除了常见的种种人脸AR装饰外,特效功效的寄义异常普遍,包罗但不限于种种玩法道具、贴纸动效、视频模板和小游戏等。例如万物AR玩法是用摄像头扫描通用物体并触发效果(如让湿纸巾舞蹈),活照片玩法可以使一张图根据特定方式动起来(如前阵子很火的“蚂蚁呀嘿”),这些都是特效手艺的局限。

自力创作工具:快手此前已经推出“快影”和“一甜相机”等多款受迎接的工具产物辅助用户举行视频和图像的专业创作,最近还刚宣布了一款主打高清修图的“原片”app。除这些产物外,此次大会上万鹏飞重点先容了另外两个对照特其余自力创作工具。

第一个是虚拟偶像确立和开播工具—A站面捕助手,用户能以很低的成本缔造自己的虚拟形象,并让虚拟形象随着自己动起来,举行直播互动和内容生产。大大降低了通俗人或商家拥有和运营属于自己的虚拟偶像的门槛。

第二个是快手特效开放平台—必扬特效平台,在这个平台上,人们可以设计和缔造自己的特效玩法,宣布到快手让更多人体验,并可获得平台激励。通过这个方式,短视频平台、特效创作者、特效消费者形成了一个互利共赢的生态。

,科技新闻实时报道,

CV手艺助力快手短视频智能创作,五大转变转达手艺生长趋势

短视频UGC智能创作种种功效的实现大多依托于(但不仅限于)盘算机视觉手艺,即CV手艺。在演讲中,万鹏飞从产业应用的角度,根据人体感知与重修手艺、环境感知与重修手艺、像素级语义剖析、天生式手艺和多模态手艺这五个手艺偏向举行了先容。

人体/环境感知与重修手艺:感知和重修是智能创作的主要条件,也是CV领域的主要课题。主要包罗点/框检测、物体/场景识别、动作捕捉、VO/SLAM、3D重修等,这些基础CV手艺有力保障了快手用户的创作体验。

像素级语义剖析:这方面用途最广的是支解手艺,俗称抠图。除了对照常见的人像支解外,万鹏飞展示了一个快手实时天空支解的案例,岂论是窗户的遮挡,照样修建与天空的毗邻处,都支解得异常细腻。除种种支解抠图外,有时刻也需要对画面中的其他语义信息举行剖析,如深度和法线等。

天生式手艺:以天生判别网络(GAN)为代表的天生式手艺是近几年异常火热的课题。天生式手艺除了可以做种种好玩的特效外(如“童话脸”特效),其应用已深入到智能内容创作的方方面面。例如传统的染发效果是在头发上叠加一层颜色,效果很假。用天生式手艺染出来的头发,则更像是现实中现实染上去的效果。

多模态手艺:现实天下中人们感受和表达信息大多是多模态的。一个短视频,不只有画面,另有声音、文本信息等,因此UGC智能创作也应该对多模态信息举行团结建模。在智能创作方面,多模态手艺的落地场景有许多,包罗为短视频配乐、配文案,图文转视频,以及文字天生画面等。

以上这些手艺在现实落地中会晤临许多挑战,包罗若何保证算法在种种差其余机型上都能施展最好的算法效果且保证运行流通。若何保证用户在种种使用场景中能保证算法的鲁棒性等。这些都是CV手艺在现实营业落地时必须思量息争决的问题。

快手磁力引擎与艾菲战略相助升级 加码挖掘短视频营销盈利推动品牌商业价值增进