您的位置:首页 > 互联网

“存算分离”已成为分布式数据库的主流方向

发布时间:2021-06-08 11:58:00  来源:互联网     背景:

  在当前越来越强调云原生的环境下,存储计算分离已经是大势所趋。几乎所有我们熟知的云数据库都已经开始使用存算分离实现资源价值的最大化,比如阿里的PolarDB,AWS 的Aurora,华为GaussDB for MySQL等。大量企业自建数据中心也开始采用“开源数据库+存算分离”的方式进行部署。

  那么,我们来看看这些先进的互联网公司和数字化转型的企业,是怎么不约而同在数据库改造中一步步走向“存算分离”的呢?

  分布式数据库是时代的选择

  从1970年IBM的E.F Codd在论文《A Ralational Model of Data for Large Shared Data Banks》中提出的数据库系统关系模型,开创了数据库关系方法和关系数据理论的研究,为数据库技术奠定了理论基础,到1977年 Oracle数据库发布,开启了IBM DB2和Oracle等大型商业公司垄断数据库市场二十年。

  直到90年代中期,随着互联网时代的来临,开源数据库MySQL,PostgreSQL的出现,这种垄断现象才被打破,以MySQL为代表的开源数据库开始迅速发展。

  21世纪10年代,数据的井喷式增长,对数据库提出了水平扩展,大集群规模,高并发等新诉求,紧接着随着公有云的蓬勃发展,以云为载体兼具高可扩展性、高并发性、高可用性的分布式数据库,如谷歌Spanner,Snowflake,AWS Aurora等逐渐走进我们的视野。

  至此我们可以看到分布式数据库的诞生是顺应时代的发展,是时代的选择。

  分布式数据库改造,存算一体部署之殇

  分布式数据库最成功的应用场景就是支撑了早期电商业务的快速发展,然而随着企业数字化转型的深入,数据总量和形式呈现指数级的增长,数据库要应对的是不断飙升的业务下高性能、高可靠的挑战;与此同时,不断飙升的业务高峰还要求数据库有极好的弹性伸缩能力、持续服务能力和合理的成本。

  而原有的分布式数据库“存算一体”,采用服务器本地盘的部署方式就越发显得力不从心。

  例如,由于计算、存储资源捆绑,在应对如双11这类突发资源高峰时,无法只对计算资源进行快速扩容,分布式改造后无法支持单独弹性扩展,有悖分布式改造的初衷。同时亚马逊、阿里等厂家在自身和云客户的使用中也发现以服务器本地盘的方式部署,在存储可靠性、爆炸半径、综合成本等方面存在难以解决的问题。

  以某运营商为例,在基于MySQL开源软件自研的数据库使用服务器本地盘部署的模式下,计算资源(CPU和内存)与存储资源(SSD磁盘)存在着不可调和的冲突(使用不均衡、扩容受限、运管困难等),并带来成本的增加。

  而这类问题在互联网、金融、运营商一些云转型企业中尤为突出:

  -可靠性低:“服务器可靠性低,出问题数据无法访问甚至就都丢了,必须用多从同步来补可靠性的缺口”,“服务器网络抖动或磁盘亚健康问题很难监控处理,影响系统稳定性”,“服务器故障修复需要比较长时间,不能放太多实例”。

  -运维困难:“更换设备或扩容需要搬迁数据库,全量同步数据很慢”,“以前数据库数量小,现单库拆分成数10个实例,未来全网整改后,预计上千个实例,运维太复杂”,“原来只有两台小型机,现在需要20多台机器,4、5个机柜,机房和电都不够了”。

  -成本高:“存算绑定,无法弹性扩容”,“资源闲置,CPU利用率低”,“为保证可靠性增加副本数,现有架构成本是原来的1.5倍”。

  怎么去解决分布式数据库架构上服务器本地盘部署这一系列问题呢?业界一直在不停的探索,2014年AWS首次推出了Aurora,阿里在2017年推出了PolarDB,华为云在2020年推出了GaussDB for MySQL,华为存储也在2021年针对企业自建数据中心,推出OceanData分布式数据库存算分离方案,希望基于成熟的基础设施“云”化技术,解决分布式数据库架构上的短板。

  业界云原生实践:“存算分离”,共享存储是分布式数据库的最优选择

  没有一个概念和架构是无缘无故凭空冒出来的,存算分离也是业界基于当前分布式改造的现状和本地盘部署的弊端不断探索出来的,更是互联网,数字化转型企业的共同选择。

  存算分离带来的四大价值:

  -可靠性提升:外置共享存储可靠性结合云原生故障隔离和迁移能力,解决一体化方案可靠性短板,并为降低资源冗余提供基础;

  -资源优化:解决数据快速移动,实现计算、存储弹性扩展,按需分配,减少因可靠性、运维能力不足造成的硬件冗余;

  -能力复用:使用共享存储成熟的备份恢复、SSD介质延寿、亚健康等能力,快速提升数据库整体解决方案能力,节约开发成本;

  -架构先进:基于开放生态存储底座,可快速实现云原生数据库能力,不影响上层应用,实现平滑演进。

  各行业在数字化转型中都面临着业务量爆炸性增长,业务互联网化等挑战。为了在新形势下提升服务体验,国内某运营商联合华为开展创新和应用实践,采用分布式数据库存算分离方案构建高效BSS系统,实现了计算、存储资源在线弹性扩容,整体资源利用率从10%提升到50%;数据重建恢复全自动化,恢复时间从3小时缩短至5分钟;共享存储带来设备级6个9高可靠。

  总结

  随着5G、分布式技术、云计算技术的不断发展,及各行业数字化转型的不断深入,数据库云化、数据库云原生架构已成为趋势,计算、存储分离,采用共享存储的方式是数字化转型的企业共同的选择。

特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
想要体验更加便捷的操作?ColorOS智能侧边栏值得拥有!
手机作为我们日常重要的通讯设备,除了能够打电话,拍照等其他用途之外,它还可以帮助我们处理更多......
日期:09-03
华硕 ROG 游戏手机 3 官宣
(原标题:华硕 ROG 游戏手机 3 官宣:6000mAh 大容量电池)...
日期:07-21
苏宁极物小Biu空调315实时销量第一,格力美的紧随其后
在家电第一渠道的苏宁易购平台,空调品类向来是公众关注的重点,据315焕新节空调悟空榜实时数据显示......
日期:03-15
小文艺调调来袭,北京合生汇·番茄口袋开业带你买买买!
现在的年轻人,多是小文艺青年。那么这样的青年,如果进入到一个有调性、精致的小店里,最想要做的是什......
日期:06-11
看穿“两轴四轮”模型 国美要做全家消费首选项?
近日,小编看到国美零售发布第二阶段的战略蓝图,显示“家·生活”战略第二阶段的国......
日期:09-09
品牌设备商抱团打造全屋场景 或成智能家居行业趋势
近日,在深圳国际家居软装博览会上,智能窗帘电机领导品牌杜亚首次展出了智能窗帘ZigBee3.0家居解决......
日期:09-02
JBL超级盒子限量版到手价1648元 京东电脑数码11.11带你颜值升级
随着11.11的热潮不断高涨,相信各位姐妹们已经蓄势待发,同时也是广大男同胞们为心上人挑选礼物的好......
日期:10-28
入驻2周 京东梓濠旗舰店单日订单破6000单
7月6日,梓濠品牌口罩对外发布战报,入驻京东2周,梓濠交出了一份亮眼的成绩单,也打响了漂亮的第一......
日期:07-07
惊呆了!隔壁小李竟用百度地图叫来一辆自动驾驶出租车
长沙市民有福啦!4月19日,百度地图在长沙独家上线自动驾驶出租车一键免费试乘功能。在长沙政策开放......
日期:04-20
年货节投影仪怎么选?坚果J10对比当贝F3到底哪款好?
年货节是春节前最后一次大促,很多朋友都想在这段时间里挑选自己心仪的物品,既作为回家礼物,也可以早......
日期:01-21
华为女神节福利来了!三大惊喜
(原标题:三大惊喜!华为让这个女神节变得很不一样 女生们快来)...
日期:03-08
2021新春“网红”打卡地哪家强?柔宇“柔树”在北京西站等你来
年关将至,在外打拼的“异乡人”们思归之情纷纷涌上心头。从“昔我往矣,杨柳依依...
日期:01-13
玖富集团开展全面战略合作 持续强化金融科技创新力度
原标题:玖富集团开展全面战略合作 持续强化金融科技创新力度 金融科技是未来全球金融竞争的制高点,谁掌握好这一最先...
日期:05-17
出行鄙视链消亡!电驴党们逆袭了
虽说现在在家躺着就是对社会最大的贡献,但是复工对于上班族来说也是头等大事,毕竟再不上班,可能......
日期:02-17
百度搜索“性侵”,可获权威公益机构帮助
近日,一未成年女性被性侵的事件引发高度关注。相关媒体报道称,2016年初,刚满14岁的李某某在百度......
日期:04-10
刘雯同款 vivo TWS Neo真无线耳机6月1日开售
2020年5月27日,vivo智能终端微博发布一张海报,vivo X50系列代言人刘雯佩戴vivo TWS Neo真无线耳机......
日期:05-27
即信Fintech智研中心│求生存谋发展的2020,通信基建中台化力挽狂澜
2020年是全面建成小康社会和“十三五”规划的收官之年,可谓关键节点年。而新冠疫情的到......
日期:07-17
西部数据携手新华三,以领先的存储结构,助力数据中心变革
世界正在快速、全面的进入数字化,数据的爆发式增长已经持续数年并仍将持续增长。根据IDC的预测,到......
日期:11-10
清科创业学院服务西安高新区 10月开展初创企业业务搭建与财务规划专题培训
实践证明,创新创业的活力很大程度上代表着一个地区的经济发展潜力,除了政策扶持力度之外,初创企......
日期:10-28
预防电信诈骗分子冲刺年末KPI 360数科反诈实验室为大众接种“反诈疫苗”
临近年底,面临KPI考核的不止“打工人”,还有电信诈骗分子。大学生被“官方工作人员...
日期:01-26