您的位置:首页 > 互联网

语音只是开始,思必驰多模态交互融合来袭

发布时间:2021-07-07 15:57:00  来源:互联网     背景:

  人类的交互通道有眼耳鼻舌口等器官,他们充当着外在世界信号的“接收器”,将范围内的信号接收并传递给“大脑”。在机器世界里,从过去鼠标键盘转变成当下的触控、语音、手势、视觉等,多模态人机交互技术正在彼此融合。

  目前智能语音具备兼顾老人、儿童以及地方方言的能力,语音与视觉,触屏,LCD反馈显示结合的交互体验,令交互门槛的不断降低。国内专业的对话式AI企业思必驰,结合全链路语音交互技术及自研计算机视觉技术推出多模态交互技术方案,落地白电、黑电智能终端,满足用户智能化需求。

  机器的“眼耳鼻舌口”

  机器能够听懂人类说话,产生对话并提供服务,大大增强了物联网设备实际使用价值。越来越多搭载语音交互平台,能够实现对话的物联网设备,从电视、冰箱到家居设备,各种终端不胜枚举。

  在实践过程中发现,语音交互的物联网设备缺乏主动服务的能力,只是换了操作方式,用户体验没有本质提升。这种缺乏主动服务的人机关系怎么改变呢?答案也许是让机器除了能听和说之外,还要能看,能感觉,能将五感联系到一起进行思考。

  在智能语音交互发展的过程中,多模态交互是一个必经阶段。拥有各种传感器的智能设备,除了能听(耳)会说(嘴),同时还利用摄像头(眼)观察、底盘云台(脚)移动等,从而全面的理解用户、与用户进行沟通,从而满足用户的需求。

  这个交互过程模拟了人与人之间的交互方式,使交互更自然、更切合用户意图。这一交互方式打破了传统的键盘输入和智能手机的点触式交互方式,符合“机器人”类产品的形态特点和用户期待,定义了下一代智能产品和人的专属交互模式。

  三方面加持,深化多模态交互

  智能经济时代,人机交互将全面智能化并带来一系列的深度变革。需要不断升级产品、内容、服务,才能更好地适应用户在未来智能化终端上的需求和习惯。

  思必驰作为国内专业的对话式人工智能平台公司,从信号处理、识别到理解到交互,思必驰拥有全面的智能语音语言技术。思必驰多模态交互技术的应用,主要为以下三个方面:

  多模态VAD

  根据视觉和音频特征,通过多模态融合的方式识别出说话人的语音内容,拒识其他说话人的声音,从而实现辅助降噪、拒识

  人脸识别&人脸对比

  人脸识别:人脸关键点、头部姿态角、人脸与摄像头距离角度、性别、年龄、口罩等;

  人脸对比:首先进行人脸注册,提取注册人脸的特征;对需要对比的人脸提取特征,并与注册的人脸特征进行对比,识别出该人脸是否注册及其FaceID;

  手势识别

  当用户说了一天的话,坐在沙发上想看个电视却找不到遥控器换台,他抬手在面板前,用手势切换台;

  用户在听音乐,此时电话来了,他用手势示意面板将音乐暂停;

  从智能家居,到“多模态”开花

  依托智能语音行业深耕多年的经验及关键技术优势,结合全链路语音交互技术及自研计算机视觉技术,思必驰的多模态交互技术方案已经落地众多智能终端产品,满足用户智能化需求。

  智能家居领域,针对空调、冰箱、炉灶等白电产品,思必驰推出智能白电 AI 交互解决方案。根据智能白电的不同组网模式(中控/分布式/单机),思必驰提供正面唤醒、就近唤醒、语义唤醒以及多模态综合唤醒方案。

  黑电领域,智能电视作为「客厅经济」中的核心代表产品,占据客厅场景最大的流量入口。思必驰为智能电视打造流畅自然的语音入口+输出,同时背靠DUI平台,打通了超过300家第三方资源接口,为用户提供全屋家居控制、交通出行、新闻资讯、生活娱乐等各领域内容服务。

  针对周边嘈杂干扰大、多人密集同时交互的情况,比如多位用户在激烈的玩电子游戏、亲朋好友聚会等。思必驰多模态交互技术方案,根据视觉和音频特征,通过多模态融合VAD分离出说话人的目标语音,拒识其他说话人的声音,实现辅助降噪、提高声源定位的精准度,即使说话人在移动状态下也不受影响。

  另外,思必驰多模态交互技术方案还可以应用在会议大屏、商场显示大屏、地铁购票机等商用带屏显示设备中,目前此技术已在全国多个地区地铁的购票设备中落地。

  随着思必驰旗下深聪智能第二代AI芯片发布,思必驰在多模态方面的演进路线更加明朗。语音、图像、手势等交互方式的交融能够极大程度降低用户的AI体验门槛,未来,思必驰将继续发挥优势并持续打造更多满足AI应用场景的产品,为智能经济时代提供向上引擎。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
告别低电量焦虑症,OPPO ColorOS 7.2超级省电模式超带劲
6 月 18 日,OPPO Reno4 Pro 2020 夏日定制版正式开售,吸引了一大波消费者的目光。这款新机不仅带......
日期:06-18
2月28日京东电脑数码“女神节”万千佳品邀你来扮靓!白条最高24期免息!
在颜值即是正义的年代,有品位才是懂得生活的体现。眼看着春天就要来临,作为“颜值控”......
日期:02-28
苏宁小Biu智能护眼台灯双十一重磅上市,199元将护眼做到极致
台灯在人们日常生活中无时无刻不扮演着重要的角色,例如孩子学习、家人工作、在床头看书等。作为生......
日期:11-11
携手QQ,苹果这次为年轻人拼了
年轻人越来越重要了,就算是苹果这样市值万亿美元的巨头,也要考虑年轻人的市场——于是......
日期:09-21
2019「移动应用创新赛」结束,浙大团队作品获「最具创新奖」
10 月 27 日,2019 年「移动应用创新赛」颁奖典礼在浙江大学举行,来自武汉大学的作品《Hello Slide......
日期:10-28
WPS校园行|事半功倍!揭秘大学生活的福袋工具
“Life is what happens when you’re busy making other plans”--John Lennon...
日期:06-17
“假面骑士”大电影《假面骑士零一·REAL×TIME》今日全日本上映,人工智能少女小冰受邀出演
(12月18日,北京) 今日,日本最受欢迎的国民影视IP“假面骑士”最新剧场版大电......
日期:12-18
新一代夏日手游神器 黑鲨冰封制冷背夹2 磁吸版上市开售
随着智能手机性能的不断变强,手机游戏的质量也在不断向上突破,现在我们已经可以在手机上玩到很多画......
日期:06-18
彭博:索尼PS5成本约3100元
2月14日消息 根据彭博社今天最新的报道,知情人士透露,由于零部件稀缺,索尼公司的下一代PlayStati......
日期:02-14
街电共享充电宝落地青岛、济南等夜市场景,加速城市烟火气回归
随着疫情形势持续向好,城市的烟火气也渐渐回来了。今年全国两会期间,“地摊经济”成为代......
日期:06-18
vivo X50京东到家第一单仅15分钟送达!网友:我羡慕了
6月6日,vivo X50系列 5G手机正式在京东开售,自vivo官方6月1日宣布该新机由国际超模刘雯代言至今就......
日期:06-06
百度地图联合央视新闻上线“红色足迹地图”,全景见证百年建党伟业
献礼建党百年,追寻红色足迹。近日,为迎接中国共产党成立100周年,百度地图联合央视新闻,共同推出......
日期:07-01
全球扩张凝聚人才 万兴科技开启史上最大春季大招聘
随着企业复工步入正轨,春季招聘也持续回温。说起逐渐白热化的春招热门,万兴科技(300624.SZ)一定是......
日期:04-03
拥抱智能时代 2020全球智博会带你洞见未来
自动驾驶解放双手,车内移动办公不再是梦、人体测温融入日常,助力社会复产复学、高清视频实时监控......
日期:07-27
WPS双十一携手科技大佬罗永浩 再掀高效办公新风潮
双十一逼近,“抖音带货一哥”罗永浩的双十一直播清单再次扩容。有消息称,2020年双十一......
日期:11-10
陌陌《2020网民阅读报告》:疫情期间31.6%网民读书量超上一年总和
前不久,武汉方舱医院“读书哥”在病床上专心看书的照片走红网络。新冠疫情爆发以来,很......
日期:04-22
安徽多家企事业单位通过华为云WeLink实现在线高效沟通
自1月25日起,华为公司免费开放华为云WeLink供各单位使用,安徽多家企事业单位开启了远程办公的新工......
日期:02-18
得物App赋能中国品牌 引领年轻消费潮流 获《人民日报》肯定
10月26日,《人民日报》刊文《“新国货”缘何引爆潮流》,报道了近期国潮在线上线下盛行......
日期:10-28
源于实战,输出安全能力;不忘初心,共创生态未来——360本地安全大脑暨安全运营基础设施新品发布会重磅来袭
一场“黑天鹅”的席卷,给全球经济带来了降维式的打击。复工复产步伐的加速提升了数字化......
日期:09-16
继中国移动之后,FCC将审查中国联通/电信:理由仍是国家安全
9月17日消息 据路透社17日凌晨消息,美国两名参议员周一要求联邦通信委员会(FCC)和国家安全机构评估......
日期:09-17