您的位置:首页 > 互联网

腾讯发布全球首个面向移动端的VVC标准视频解码器,手机即可看4K超高清VVC视频

发布时间:2021-02-04 00:00:00  来源:互联网     背景:

  腾讯发布全球首个面向移动端的H.266/VVC标准视频解码器,即其自研的O266移动端版本,手机可看4K超高清VVC视频。O266已成为世界领先的全平台VVC解码器,支持main10 profile,包括高分辨率、高动态范围、屏幕内容编码等重要功能。

  近几年,以视频为信息载体的互联网应用越来越广泛,海量视频数据的存储及传输对视频编解码技术提出了更高的要求。以腾讯为代表的众多国内外公司参与的新一代国际视频编解码标准 H.266/VVC相较于上一代标准H.265/HEVC,在同样的主观质量下,可以减少50%左右的数据大小,既能满足人们对视频质量的追求,又能降低存储与流量消耗。

  H.266/VVC在main10 profile里能同时支持高分辨率、高动态范围、屏幕内容编码等功能,进一步提升在各种视频场景下的编解码能力,这得益于其更灵活的编码结构和更加优化的编码技术。

  腾讯自研的H.266/VVC编解码器 O266enc和O266dec,由腾讯多媒体实验室编解码团队于2019年牵头并协同腾讯云架构平台部、微信和腾讯视频等多个团队联合研发。经过不懈的努力与探索,最终在H.266/VVC标准定稿后的三个月内,即2020年10月,率先发布了基于X86平台的实时H.266/VVC解码器O266dec,以及基于该解码器的开源播放器O266player,目前能够在PC端上完成4K H.266/VVC视频的实时解码。

1612424437631066.png

O266player视频播放示意图

  2021年1月,O266dec新增main10 profile移动端解码器,进一步促进了H.266/VVC标准生态建设。它以全面的模块性能优化和出色的并行结构设计,能够达到266标准在移动端的单核1080p或多核4K码流的实时解码,未来将广泛应用于面向移动端的视频点播、视频直播、音视频通信、视频智能生产、短视频、VR/AR等各个领域,服务于腾讯内外部相关业务。

  O266player能够实现清晰流畅的视频播放,得益于O266dec优秀的视频解码架构,通过多维度的并行处理,从而达到大幅利用多核多线程技术的目的,使其解码性能指标大幅提升。O266dec的并行解码架构主要包括以下四个方面:

  第一, 帧层级并行:独立并行解码帧内预测帧,以及没有相互依赖性的帧间预测帧;同时不同帧之间的熵解码和像素处理也可以并行。

  第二, CTU层级并行:利用Wavefront技术可以实现不同CTU行之间的CTU级的并行解码。

  第三, 模块层级并行:针对像素的操作,如运动矢量推导、预测、反量化、反变换和重建等,以及环路滤波操作可以并行处理。

  第四, 亚CTU层级并行:所有帧间预测CU都可以并行解码,并最大程度的利用SIMD指令。

  为了能够在移动端支持H.266/VVC解码,腾讯多媒体实验室在O266dec上增加了许多移动端相关优化,使得其解码器性能在移动端得到大幅提升。

  例如,自适应环路滤波器(Adaptive Loop Filter,ALF)作为H.266/VVC解码器中复杂度最大,优化难度最高的模块,是腾讯在移动端平台上优化的重点,该模块在整个解码过程中的复杂度占比如图所示。

1612424446313168.png

优化前各模块解码复杂度占比图

  从图中可以看出ALF模块占整个解码复杂度的60%以上,复杂度占比远超其他模块,同时它的优化复杂度也是最高的,流程上的简化以及提升并行性都是比较困难的,因此是所有模块中优化优先级最高的。为提升移动端ALF解码速度,团队对整个ALF流程进行整理与分类,并充分结合移动端SIMD对ALF滤波模块进行优化,使得解码器速度得到大幅提升,解码速度是原始代码的2倍以上。

  除去ALF模块之外,对于同样复杂度较高的插值(Interpolation)模块,团队也对其进行了细致优化。插值模块也是H.266/VVC解码器中计算量比较大的一个模块,其涵盖的多种多样的滤波器是整个模块的优化重点。团队对滤波器参数特点进行了充分的分析,并将其根据参数类型以及输出结果进行分类与逻辑优化,在结合移动端SIMD的基础上,使得解码速度得到明显提升。

  除去一些通用模块,团队对于针对B帧等其他编码工具集模块都着手进行了优化,优化范围与内容相对比较全面。例如双向光流(Bi-directional optical flow,BDOF)模块,它是一个用于4x4子块级别上优化CU的双向预测信号,经过团队的细致优化,这一模块的解码速度也获得了进一步提升。

  此外团队对于其他重要模块也都进行了深度优化,优化完成后各模块性能占比饼图如下图所示。

1612424453554997.png

移动端优化完成后各模块复杂度占比示意图

  以iOS端A14处理器为测试平台,O266dec移动端性能如下:

  在单线程下,O266dec在采用RA(RadomAccess)配置时, 对于2K标准序列,可完全满足30fps实时解码的需求;对于2K SCC(Screen Content Coding)序列可充分满足60fps以上的实时解码需求。

  在多线程下,O266dec在采用RA(RadomAccess)配置时, 4K标准序列在6线程下的解码速度可以达到30帧左右,可以实现266在移动端的实时解码。

  同时,腾讯自研的解码器也已经集成在了O266player的iOS端应用上,在移动端播放H.266解码画面清晰流畅,能够充分满足H.266/VVC实时解码的需求,性能优势十分明显。

  面向移动端的O266dec是国内首个H.266/VVC标准在移动端的实际应用,是腾讯视频编解码技术进展的又一个重要里程碑。未来腾讯多媒体实验室将持续优化和完善解码器,将最新技术输出至行业,助力多媒体生态技术的发展以及数字化产业的建设。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
酷开系统打造轻知识社区 构建大屏短视频价值高地
日前,酷开网络正式发布酷开系统8,提出“无界空间”概念。按照酷开网络CEO王志国的解释......
日期:09-21
Facebook正开发操作系统
(原标题:消息称Facebook正开发操作系统,由微软老兵领导)...
日期:12-20
欧孚科技通过ISO27001认证,信息安全获国际权威认可
2020年7月1日,苏州欧孚网络科技股份有限公司(简称:欧孚科技)正式通过ISO / IEC 27001:2013信息安......
日期:07-09
UCloud用户大会:5G时代的AR、无人驾驶、智能交通、云游戏
2019年5月28日, 国内领先的中立云计算服务商UCloud优刻得(以下简称UCloud)在北京召开以“中立......
日期:06-03
创想三维首届全球DIY创意改装大师赛强势来袭!奖金10万+
重塑想象 突破创意边界 2021创想三维全球DIY创意改装大师赛 强势开启 造梦无边界,让世界......
日期:01-20
“学习中交流,交流中成长” |希沃助力新疆博湖县开展教师信息化能力培训
当前,信息技术已经渗透到教育教学的各个环节,课堂迎来了全新变革。为进一步提高教师信息素养,促进智......
日期:01-20
这个夏天,不只属于《乐队的夏天》,还属于中关村科学城北区的创业合伙人
这个夏天,不只属于《乐队的夏天》 更属于所有参与 中关村科学城北区创业合伙人招募计划的他们......
日期:08-14
跨界联合,科技打造品牌视觉传播
前些日,2019年的East Tech West相约中国广州。这是由CNBC制作,East Tech West汇集全球最有影响力的......
日期:11-29
消费恢复趋势观察报告:五一奶茶店人气暴增,相比清明节客流翻倍!
国内新冠疫情防控成效显著,经济秩序正逐步恢复,被暂停的线下消费场景已经重启。友盟+联合高德地图、......
日期:05-27
上海机场采用无感测温,庞大数据还好有企业微信帮忙实时管理!
全民抗疫这场无声战争,牵动了每个人的心。面对疫情这个看不见的战场,无数“战斗”在全......
日期:03-09
北京今日实行垃圾分类,百度搜索热度上涨108%
新版《北京市生活垃圾管理条例》于5月1日正式实施,面临垃圾分类“大考”的北京市民在关......
日期:05-01
三星宣布量产新型250GB SSD,搭载第六代TLC V-NAND
8月6日消息 今天上午三星宣布开始大规模生产新型250GB SATA固态硬盘(SSD),集成了三星的第六代256Gb......
日期:08-06
艾媒咨询“2020中国新经济创新势力榜”报名通道正式开启
随着国内疫情防控迈入常态阶段,如何实现经济复苏,寻找经济发展新的突破口成为各行业关注的重点,...
日期:07-21
品钛研究院《零售银行》撰文:金融科技如何重构传统小微信贷流程
文 | 舒典 品钛研究院研究员 编辑| 郭镇霞 近期,品钛研究院为《零售银行》杂志(2019年8月......
日期:08-28
高颜值净水好物莱卡LAICA净水小鲜壶新品首发,呵护精致小生活
随着工业的发展,我们的生活水平越来越好,可是环境却离我们越来越远了,各种水污染问题也层出不穷......
日期:09-11
5G+媒体,中国移动赋能智慧媒体新时代
5G是信息时代一个重要的里程碑,将与人工智能、物联网、大数据等一系列革命性技术给人们的工作和生......
日期:05-30
网络安全面临“人才荒” 建设人才发展体系是核心
近年来,全球不断发生影响恶劣的大型网络攻击及数据泄露事件,爆发式增长的网络犯罪率带来的是巨......
日期:09-29
ofo资金危局:外部融资陷僵局 商业化自救杯水车薪
冬天的脚步越来越近,共享单车行业的淡季即将来临,对于深陷资金危局的ofo来说,日子可能更难熬了。......
日期:09-28
美国两大运营商直言:高速的5G网络不会那么快到来
4月27日消息 并不是所有的5G网络都是相同的。5G有超快速、无瑕疵的毫米波5G网络,但它难以覆盖广阔......
日期:04-28
盘点美国实体清单上的那些AI国潮,科大讯飞人气最高
10月8日,美国商务部网站公开表示,将商汤科技、科大讯飞、大华科技、海康威视等8家中国企业列入贸......
日期:10-11