您的位置:首页 > 互联网

跨越速运 x DorisDB:统一查询引擎,强悍性能带来极速体验

发布时间:2021-08-27 15:02:00  来源:互联网     背景:

  跨越速运集团有限公司创建于2007年,目前服务网点超过3000家,覆盖城市500余个,是中国物流服务行业独角兽企业。跨越集团大数据中心负责全集团所有数据平台组件的建设和维护,支撑20余条核心业务线,面向集团5万多员工的使用。目前,大数据中心已建设数据查询接口1W+,每天调用次数超过1千万,TP99在1秒以下。我们利用DorisDB作为通用查询引擎,有效解决了原架构大量查询返回时间过长,性能达不到预期的问题。

  “作者:张杰 跨越集团大数据运维架构师,负责集团公司大数据平台的维护和建设”

    一、业务背景

    1、总体架构

  我们原始离线数仓的总体架构如下图所示,数据从各个业务线的数据库,比如MySQL等,通过数据集成工具汇聚到ETL集群(即Hadoop集群),再使用Hive、Spark、Presto等批量处理引擎进行数据仓库的分层处理,然后将DW层和ADS层的数据推送到各种不同的查询引擎。

  在这些查询引擎之上,有个统一的查询API网关,应用层的自助分析工具或ERP系统前端通过调用这个API网关,将数据内容呈现给用户。

    二、业务痛点

  该系统最大的痛点是查询性能问题。公司对大数据查询接口的响应延迟是有考核的,期望99%的查询请求都能在1秒内返回,比如页面ERP系统、手机端各类报表APP,用户会随时查看数据并进行生产环节调整,过慢的查询响应会影响用户体验,甚至影响业务生产。针对复杂的SQL查询场景,之前采用的Presto、Impala+Kudu、ClickHouse等系统,是远远达不到预期的。另外,针对各种复杂的数据分析业务场景,引入很多不同组件,导致了维护和使用成本非常高。

  因此,我们急需一个新的查询引擎,能统一查询引擎,解决性能查询问题,降低使用和维护成本。

    三、OLAP引擎选型


返回网站首页

本文评论
好看视频上线《卫国重器》栏目,在建党百年之际传播优质军事知识
正值建党100周年之际,好看视频联合百度百科上线独家自制军事文化栏目《卫国重器》,邀请军事行业知......
日期:06-23
直面疫情,360鲁大师再次启动合伙人招募!
疫情当下,有人抱怨: 客流下降了,生意不好做。 商铺不免房租,房东好黑心。...
日期:12-16
出众实力 商务甄选 DEVELOP德凡助力各行业激发智慧商务新动能
(2020年6月19日,上海)随着当下信息化的高速发展,大多数企业都在追求更为智能高效的办公模式,如何......
日期:06-19
谷歌将为Fuchsia OS更换新Logo
7 月 2 日消息 根据最新的一份商标文件,谷歌将为其新操作系统 Fuchsia OS 更换全新 Logo。...
日期:07-02
爱奇艺《青春有你2》迎成团出道夜 THE9女团正式出道
由爱奇艺出品,鱼子酱和微博联合出品,鱼子酱和爱奇艺小怪兽工作室共同制作的青年励志类综艺《青春......
日期:05-31
每天一杯咖啡的钱就能买5G手机!京东11.11手机24期免息
一年一度的11.11京东全球好物节终于来了,岁末年终,不少商品都有着幅度很大的优惠,尤其是大家最受......
日期:10-29
百度众多贴吧联名抵制NBA,莫雷事件引发网友大规模抗议
近日,美国NBA休斯敦火箭队总经理莫雷在其社交媒体账号上宣扬香港极端暴力分子的口号,在中国遭到集......
日期:10-09
比特币暴涨引发挖矿木马成倍增长,企业如何冲破“木马围城”?
受比特币暴涨影响,各类数字虚拟币市值均有大幅增长。而虚拟货币繁荣背后,黑色数字产业链却早已将......
日期:01-20
无人机电力应用新增专利超1100件 DJI 大疆推进数字化智能巡检生态
2019年5月22-23日,以“智能高效,创新发展”为主题的中国第五届电力行业无人机巡检技术......
日期:05-24
国双:共建OTT广告评估标准,全域营销监测再升级
9月9日,由MMA中国无线营销联盟主办的“MMA中国IMPACT论坛”在上海盛大举行。本届论坛以...
日期:09-10
健康保护眼睛 激光电视越来越受宠
眼睛是人类心灵的窗户,基本成为了全人类的共识,但还是有越来越多的人因为不当使用,从而导致各种......
日期:02-07
盲盒大热想投资?腾讯手机管家带你识破盲盒机骗局
小刘在拿到一个“隐藏娃娃”后彻底入了盲盒坑,将照片晒到朋友圈才知道很多朋友都在玩。商......
日期:09-26
360 “疫情小区一键查询”功能上线 助力用户实时了解最新疫情进展
为方便市民第一时间掌握身边小区疫情情况,近日,360浏览器联合360搜索地图团队推出“新冠肺炎......
日期:02-09
华为MatePad官方自曝,支持手写笔
11月19日消息 华为官方刚刚发布了一则MatePad的宣传视频,视频显示MatePad将支持手写笔;另外昨日官......
日期:11-19
荐你所想,华为云&英威诺更懂你心
在这个信息过剩的时代,我们如何在漫天飞的信息中找到自己想听的歌、想看的新闻、想买的商品?此时,......
日期:04-14
百度地图独家上线《魔兽世界》伊利丹语音包,个性语音让出行更美好
远征已开启,与伊利丹一同狩猎!近日,百度地图独家上线《魔兽世界》伊利丹·怒风语音包,带领......
日期:06-30
百度地图大数据:五一首日热门自然风景区西湖、五台山、泰山客流较平日大幅增长
2021五一小长假开启,旅游市场强劲复苏,公众出行意愿强烈。据百度地图节假日出行仪表盘数据显示,5......
日期:05-01
5G消息或年底商用 企业该如何快速接入抢占先机?
近日,在2020中国移动全球合作伙伴大会上,三大运营商联合宣布:5G消息或将在年底实现商用。于企业......
日期:11-26
同心抗疫!欧派电动车捐赠物资,助力六安防疫一线!
自2021年5月13日,六安确诊首例新冠肺炎患者起,一场看不见硝烟的战“疫”已经悄然上演。......
日期:05-24
同心筑生态,前路共飞腾——飞腾CPU首届生态合作伙伴大会在京隆重举行!
2019年12月19日,国内CPU研制领军企业天津飞腾信息技术有限公司(以下简称“飞腾公司”)在......
日期:12-19