您的位置:首页 > 互联网

融云2021 X-Meetup续航上海 以场景应用解析音视频技术新方向

发布时间:2021-05-20 10:04:00  来源:互联网     背景:

  2021年5月15日,融云X-Meetup技术沙龙第三站续航上海。本场沙龙聚焦“音视频技术新方向”,由融云音视频研发高级工程师姜春雨、时光机器人创始人兼CEO徐晶、融云IM研发中心高级工程师刘佳、学而思网校架构师李亚龙,和资深音视频技术专家栗伟,五位技术大咖出任演讲嘉宾,他们以时下热门应用场景为视角,从技术实践出发,与开发者们交流分享了关于音视频技术的新观察。

  iOS 上的音频开发

  今年,由于Clubhouse和Tiya的示范效应,语聊房产品大火,音频的开发技术备受开发者的关注。来自融云的音视频研发高级工程师姜春雨,多年专注于移动端和音视频领域的技术研发,他分享了《iOS 音频设备开发 - Core Audio》的主题内容。

  融云音视频研发高级工程师姜春雨发表演讲

  姜春雨认为:移动端音频处理的难点在于声音美化、变声、实时高音质和场景玩法多样化。单从iOS设备来说,要突破这些难点,离不开iOS所提供的Audio Unit,它是一项强大灵活的音频处理技术,支持混合、均衡、格式转换和实时输入/输出,用于录制、播放、离线渲染和实时对话。

  融云SDK以Audio Unit为基础,构建了长音效、短音效等多个功能模块,最终在音频设备上完成混音输出。在场景化实践中,姜春雨以音乐语聊房和百人超大会议室两个典型场景为例,分享了融云SDK的技术开发优化方案。比如,音乐语聊房注重高音质、美声变声,以舒适噪音为好,开发者要根据这些需求进行算法调优;而超大会议室的优化则要求做到服务端智能发流、多人声音同时出现可以智能选择会议发言人的声音。

  姜春雨总结道:Audio Unit是一个强大的音频处理框架,音频处理要基于Audio Unit框架构建内容,并且要在音频处理内容上不断打磨优化。未来,融云音视频SDK还将不断基于不同场景需要开发新的功能,持续优化音频产品,为开发者提供更好的解决方案。

  构建低延迟高可靠的信令系统

  融云作为互联网通信云赛道的领先厂商,2020年在业界率先提出“IM+RTC+PUSH”的整体通信解决方案。融云RTC唤起用户的通道就是依赖于IM的SDK信令,因此,本次融云的IM研发中心高级工程师刘佳,分享了《构建低延迟高可靠信令系统的探索与实践》,帮助开发者更好地了解融云IM如何协同RTC,提供高可靠的通信能力。

  融云IM研发中心高级工程师刘佳

  刘佳介绍,高可靠音视频信令系统的构建在IM信令系统设计时,首先要进行服务分层,包括接入层、内部服务和数据存储的分层。而拆分原则要根据业务差异和服务对象的不同,拆分为API和 CMP,整体做到可监控、可维护。其次,是要搭建完整的监控体系,通过可视化的图表,监看网络的性能情况,及时处理系统瓶颈。

  对于低延迟信令系统的实现,刘佳分享道,融云不仅利用全球加速网络,降低网络延迟,还基于融云自有通讯协议降低数据传输量,利用缓存机制,提高了服务的业务处理速度。并且,刘佳以缓存设计为例,说明通过一致性hash提高缓存命中率、高效利用CPU的处理能力、实施异步存储等,也都是实现低延迟系统设计的要旨。

  基于这些设计要点,刘佳展示了海量并发用户场景下的语聊房系统架构,为开发者提供了干货解决方案。同时,他还总结出融云现有的音视频整体服务架构的三大优势:第一,信令服务与媒体服务解藕,两个服务之间也不需要状态同步;第二,媒体服务专注通信,信令服务专注能力;第三,部署简单,方便进行全球部署媒体服务。

  直播系统架构设计 满足用户对实时的需求

  本场沙龙中,音视频直播场景也是一个重点话题。深耕互联网音视频12年,在直播领域积累了丰富实战经验的拾光机器人公司创始人兼 CEO徐晶,通过他的《互联网直播快速实战》,分享了基于直播答题场景的架构设计,尤其是几个关键技术点和应对策略,以及如何保证直播中的视频和音频质量,都做出了详细的讲解。

  沙龙中,专注于在线教育的学而思网校架构师李亚龙,还针对教育低延时大班的直播场景,为开发者带来了关于《在线教育直播系统架构升级》的分享。他着重从网校视频技术的发展、网校大班直播系统、网校公益直播课、低延迟直播探索这四个方面的设计要点,进行了分析讲解。对于专注在线教育的开发者而言,具有普遍的示范意义。

  此外,资深音视频技术专家的栗伟,发表了《使用WebRTC构建实时在线课堂》的演讲。栗伟曾任职于中科院计算所、CC视频,任职期间利用WebRTC技术开发了直播、在线课堂、视频会议等商业产品,并发用户数达到500万。他还曾主笔撰写了 《WebRTC技术详解:从0到1构建多人视频会议系统》,在该领域有多年实践经验,对WebRTC有非常深入的研究,他的实践分享也让开发者们获益匪浅。

  结语

  在本次沙龙中,五位讲师的分享,其共性特点在于:他们都基于当下所关注热门场景展开话题。由此可见,应用场景才是“探讨音视频技术新方向”的基础,而越热门的场景往往越是代表着这个领域的发展潜力更大,因此也就越需要通过新技术、新产品加以承载。

  随着5G的进一步落地,网络带宽、网络质量的不断优化,音视频通信无论在使用量级上,还是使用场景上,都会出现更多可能。对于开发者而言,只有及早储备,尽可能多地掌握新技术,关注新方向,才能赢在当下,赢在未来。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
百度地图树立语音赛道“新里程碑” 沈腾语音包十一当日导航总里程超1亿公里
当“高速堵车”的话题冲上热搜,自驾、旅游、返乡等出行需求集中爆发,疫情后的首个黄金......
日期:10-01
4G与5G互为补充长期共存
6月11日讯,工信部消息,中国信息通信研究院副院长王志勤表示,4G不会被淘汰,还将在长时间为用户提......
日期:06-12
专访视觉艺术家毛婷,揭秘如何打造炫酷的舞美视效
说起舞美设计,不少人的脑海里会浮现出大型综艺节目和演唱会现场宏大的场面,耀眼的灯光,随着音乐......
日期:05-09
致远互联卡位“数智运营” 携多家品牌厂商构筑智能化生态
11月8日,由致远互联主办的2019中国协同管理高峰论坛在北京雁栖湖盛大开幕,这也是致远互联科创板上......
日期:11-13
超强阵容!800+行业精英齐聚,2019国际CMF设计大会在深圳成功举办
2019年10月22日,由国际CMF设计大会组委会、深圳市设计联合会主办,CMF设计军团、萨米设计研究承办的2......
日期:10-23
荣泰S60元气瑜伽按摩椅荣获热点科技:先锋产品奖
“五星奖”始于2008年,自创办以来秉承着权威、专业、公正的态度对年度科技产品在外观设......
日期:12-16
北通蝙蝠4游戏手柄外观首曝光 造型炫酷引热议!
2021年5月7日,北通在其官方微信公众号发布了一张新品预热海报。海报中含有我就是主角、蝙蝠造型英......
日期:05-11
云技术助力数字文化发展,石家庄网易联合创新中心入驻企业让展馆上云
2020年伊始突如其来的疫情,像袭来的风暴,波及许多行业,许多企业在肆虐中“风雨飘摇”......
日期:05-20
腾讯电脑管家:“护眼小秘书”暗藏大心机 利用后门程序劫持用户浏览器主页
如今,越来越多的电脑族都很重视日常护眼,选择使用护眼类软件来减轻长时间上网对眼睛造成的负担。......
日期:09-27
智慧交通精细管理 深圳巴士降本增效成果达37%
交通的本质是根据需求实现人和物的位移,是人类四个基本需求“衣食住行”中的重要一项,......
日期:09-29
新游发布、激烈竞赛,2020 vivo游戏嘉年华给你好看!
作为vivo游戏玩家的年度游戏盛典,2020年 vivo游戏嘉年华于12日在广州市琶醍啤酒文化创意艺术区正式......
日期:12-14
热烈、民主、团结、奋进丨CAAI第八次全国会员代表大会圆满落幕
10月27日,中国人工智能学会第八次全国会员代表大会在西安召开,来自全国各地的558位会员代表出席了......
日期:10-31
推动ITSM数智化升级 云智慧发布数字化运维服务管理平台新品
近日,智能业务运维解决方案服务商——云智慧(北京)科技有限公司发布了数字化运维服务管......
日期:04-10
网易有道保底50万年薪面向毕业生招“网课老师”
近日,各大公司纷纷开启2021届校园秋招季,名校应届生的新贵职业offer又出现新选择。8月5日,网易有道旗下K12网校有道精品课...
日期:08-06
.NET应用程序支持直接调用WebAssembly模块
WebAssembly Runtime现已添加.NET Core API,开发者可直接在.NET应用程序中调用WebAssembly模块。...
日期:12-10
武汉红会登上百度每日疫情热搜 爱心捐赠不容蒙尘
2月1日,一名男子从武汉红十字会借用的国际博览中心仓库外提出一箱3M口罩放入车内,称提取物质是给......
日期:02-02
Gartner:2021 年全球智能手机销量预计增长 11.4%,达 15 亿部
2月4日消息 国外研究机构 Gartner 发布了 2021 年全球智能手机销量预测。报告显示,今年全球智能手......
日期:02-04
帝都人民有福咯,“共享无人车”首次在京提供夜间出行服务
近日,继百度Apollo在北京首钢园等区域开放完全无人驾驶“共享无人车”服务后,百度Apollo又......
日期:04-30
五一假期的宅家新姿势,让你足不出户体验最新最热游戏
大家期待的五一假期马上就要来临,估计大家都在想五一该怎么玩,今天小编想和大家分享一下自己的五一......
日期:04-30
寒假学玩不冲突,有了科大讯飞学习机,孩子学的用心玩的开心
春节的钟声越来越近,孩子们满心期待的寒假也来临了,不少孩子认为自己辛苦学习一个学期总算到了放......
日期:01-10