您的位置:首页 > 互联网

如何一键变身“奥运冠军”?腾讯QQ影像中心告诉你

发布时间:2021-08-10 17:23:00  来源:互联网     背景:

  在刚刚落幕的东京奥运会上,中国体育代表团取得了38枚金牌、32枚银牌、18枚铜牌的优异成绩。这届奥运会期间,除了全民热议运动健儿的精彩表现之外,还有一项神奇的变身特效活动——「我的奥运夺冠时刻」也在全网发酵,引得网民争相试玩和转发。

  在手机QQ的相机功能中,或者天天P图app中,只需上传一张自己的半身照或是全身照,就可以一秒get奥运健儿的同款夺冠时刻,让众多网友大呼“神奇”,“玩得停不下来”。

  在这个变身特效视频的背后,是QQ影像中心研发的人体姿态迁移技术。人体姿态迁移技术简单来说,就是给到机器一副含有人物的图片和一个目标姿态,之后经过计算将人物转换为目标姿态的状态。

  区别于人脸特效功能,围绕人体的GAN生成落地难度较大。在人体动作迁移实现过程中,动作跨度大、像素搬移多、纹理复杂、动作自由度高和自遮挡频繁等干扰因素导致生成指定姿态的人体一直比较困难。目前,主流的人体人体姿态迁移方案有2D warp、3D warp和不依赖warp的解决方案,这三种方式各有利弊,且并未真正落地于实际商业生产应用。

  三大技术突破,解锁人体姿态迁移动效新体验

  针对现有方案的不足,并考虑在实际应用中,多图或视频输入的姿态迁移方法会使得用户使用门槛很高,带来不太好的用户体验。QQ影像中心团队采用基于单图的3D人体重建结合GAN生成的技术路线。

  首先,比起主流方式所需要的视频+在线微调(finetune)模式,QQ影像中心的技术只需要单张用户图就可以完成姿态迁移,并且不需要在线进行模型微调。如此,便能成功将用户的交互难度大大降低。

  针对难度极大的3D人体重建,虽然市面上有开源的3D mesh数据库,比如加州伯克利分校的开源端到端框架HMR,但是效果并不理想。所以QQ影像中心团队为此专门研发了一套人体3D重建算法,让整个效果更为流畅连贯。输入单张用户图片,就能得到精确地人体形状和纹理,继而将动态变化的每一帧都转化到参考帧上,再经过计算制作成特效。

  其次,是生成清晰度高,纹理还原度好,支持更高分辨率输出(1024x1024)。比起原先2D warp、3D warp在逼真程度和清晰度上的短板,QQ影像中心算法能够保证其生成质量。其中利用人体分割和背景填充技术,完成目标视频的背景修补。

  而针对3D warp图纹理信息粗糙的现象,则利用GAN网络来细化(refine)用户warp图。具体做法是将用户信息与warp图信息在GAN网络中融合,生成自然的目标姿态用户图。在这一步中GAN网络又分为两个子网络,分别是重建网络与姿态生成网络。将用户图重建,之后生成网络输入粗粒度warp图,之后接受重建网络的特征图并进行特征融合,以保证细节信息的准确性,之后特征图将进入解码器,融合前景和特征图,最后得到输出图。

  最后,针对基于3D的技术方案容易遇到动作僵硬的问题,QQ影像中心通过平滑策略、2D点辅助优化等策略,既保证了素材的动作准确性,也使动作更加连贯自然。

  其实,这次「我的奥运夺冠时刻」变身特效的爆款出圈并非首例。此前,手机 QQ相机功能中内嵌的热门AI玩法——漫画脸,迪士尼童话脸等,同样出自QQ影像中心团队。

  从人脸特效到人体动作迁移,QQ影像中心持续探索前沿 AI 和 CV 算法,致力于将前沿的 AI 能力、3D 渲染技术以及先进的玩法赋能产品。团队在语义分割、目标检测、分类识别、GAN生成对抗等方面的深厚技术积累,在AI生成领域已进行了很多相关算法的研发和落地工作。

  值得期待的是,未来QQ影像中心也会带来更多特效玩法落地,给用户带来更多有趣的科技体验。

  关于腾讯QQ影像中心

  腾讯QQ影像中心(原腾讯光影研究室)是腾讯旗下专注于研究前沿影像处理技术的团队,在单目深度估计技术、语义分割、目标检测、分类识别、GAN生成对抗等方面均有深厚的技术积累。团队一直致力于探索泛娱乐综合解决方案,将前沿的AI能力、先进的玩法引擎和3D渲染技术赋能产品,让视觉创意更多样,音视频编辑更智能,社交沟通更趣味。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
“云”过五一:百度App准备了500多场惊喜直播
2020年“五一”即将开始,你准备好怎么过了吗?别急,百度早已为你准备好了。...
日期:04-30
OPPO智能手表采用ColorOS Watch系统 体验层面有何优势?
3月9日,OPPO首款智能手表产品——OPPO Watch已发布3天,但惊喜仍然在继续。OPPO官方微博账......
日期:03-09
喜喜帮您APP让百姓尽享线上服务便利
喜喜帮您APP让百姓尽享线上服务便利 一:帮助有需求的雇主及时匹配找到人帮忙,帮助有技能的......
日期:05-26
在Soul里记录生活百态,他用照片讲述故事
你有多久没仔细品味这座生活的城市了?它的车水马龙,街边的小店和每天遇到的人,记录是制造回忆的方......
日期:07-10
5G触及智慧未来 SURWISE创始人喻东旭“先见未来大会”发表深度演讲
高度不确定的时代,找到方向,发现趋势,捕捉机会。 2019年11月8日,“一刻talks先见未来大会2019”—&m...
日期:11-11
京东618手机巅峰日喊你来“占便宜”,手机服务包低至9.9元起
想要趁京东618大促换手机,但没赶上开门红第一波福利?小伙伴们别气馁,错过的并不都是遗憾。6月9日......
日期:06-08
曙光亮相“中国金融第一展”,赋能金融科技创新发展
11月4日,经国家商务部批准,由中国金融电子化公司主办的第二十七届中国国际金融展在深圳会展中心盛......
日期:11-05
苏宁小Biu智能护眼台灯双十一重磅上市,199元将护眼做到极致
台灯在人们日常生活中无时无刻不扮演着重要的角色,例如孩子学习、家人工作、在床头看书等。作为生......
日期:11-11
30个月流畅护航,轻薄旗舰Reno5Pro性能究竟有多强!
时下,用户对手机的重度依赖,让手机硬件、系统的老化速度逐渐加快,不少安卓手机才使用一年就出现......
日期:12-22
百度健康6亿补贴助力健康过大年  核酸检测1分起
近日,百度“2021好运中国年”活动正式上线,百度健康投入6亿福利补贴,为用户提供疫苗预......
日期:02-05
为爱美用户隐私安全保驾护航,更美APP加入移动应用程序安全委员会
变美已经成为消费者普遍的需求,为了能够拥有自己心目中的美丽容颜,很多人都会通过医美项目来完成自......
日期:07-28
番茄小说小镇作者,从业两年,年入百万
中国有2856个县城。 曾经,到大城市去,是小城青年追求梦想的唯一方式。但飞速发展的互联网......
日期:11-23
联想图像双十二狂欢预告 将优惠进行到底!
双11购物热潮刚结束不久,各大品牌又推出了令人眼花缭乱的折扣诱惑衔接双12。联想图像率先引爆双12......
日期:12-11
为什么区块链公司都要做存储,CWV2.0告诉你
今天,全世界有近三分之二的人口连接上网。通过Web 2.0过去二十年互联网实现云计算、移动化、社交化......
日期:07-21
致敬五大地区发展 360智慧生活联合《我和我的家乡》与你一同见证
继《我和我的祖国》在2019年国庆档爆红之后,作为其姊妹篇的《我和我的家乡》于近日正式定档今年10......
日期:09-29
新潮传媒入选2019胡润中国500强民营企业,媒体价值备受认可
1月9日,胡润研究院发布《2019胡润中国500强民营企业》榜单。新潮传媒以150亿元估值与阿里巴巴、腾......
日期:01-11
电动车如何安全“度夏”?雅迪电动车专业人士这样说
夏季因气温高、雨水多,电动自行车一方面容易升温,另一方面容易进水,发生故障的概率比其它季节更......
日期:07-26
5G赋能有多能?中兴通讯为实现数字经济发展注入新活力
5月17日,2021世界电信和信息社会日大会在河南省郑州市开幕。会上着重展示了5G领域的创新应用和技术......
日期:06-01
京东方智慧系统全速进击 多个物联网解决方案落地川渝
随着5G、AI、云计算等新兴技术的发展和普及,智慧物联新场景已无处不在,人们时刻感受着“万物......
日期:03-31
《讯飞扫描词典笔联动东来也 诠释科技与国潮文化的魅力碰撞》
作为文化消费炙手可热的金字招牌,“国潮”凭借其独特的东方美学视觉设计,内植的中华民......
日期:01-25