您的位置:首页 > 互联网

万里数据库的极致性能是怎样炼成的?

发布时间:2020-11-26 00:00:00  来源:互联网     背景:

  近日,以“自研·智能·新基建——云和数据促创新 生态融合新十年”为主题的第十届数据技术嘉年华(DTC)在北京举办,超500家企业、1500余名观众现场参会,超15000人观看线上直播

  万里数据库联合创始人林韶宾受邀参会,并发表《以极致性能驱动数据库技术创新》主题演讲,分享了万里数据库“极致稳定、极致性能、极致易用”的产品理念,以及数据库性能优化经验和成功案例。

分布式架构奠定万里数据库的高性能基础

  万里数据库在架构设计和技术研发上就非常注重产品性能。旗舰产品GreatDB Cluster是万里数据库自主研发的一款分布式关系型数据库,主要面向大数据量高并发场景下的结构化数据存储和事务处理,采用shared-nothing架构,降低了竞争资源的等待时间,从而大大提高性能。它具备并行计算、动态扩展、故障恢复、分布式事务等技术特性,能够基于数据分布式部署制定分布式执行计划,通过分布式并行实现高性能。

  GreatDB Cluster采用计算存储分离的原生分布式架构,通过分布式并行计算、SQL负载均衡技术实现集群高性能吞吐。同时基于数据库集群优异的线性扩展能力,GreatDB Cluster 吞吐性能随集群节点规模呈准线性提升。

回归数据库的本质:稳定、高效

  我们发展信息技术应用创新的目的是解决“卡脖子问题”,CPU是其中的核心,数据库、操作系统、编译器、硬件等都是需要解决的问题。我们的CPU等硬件设备相比之前有了很大的进步,兼容性较好,在功能上基本可以满足需求,但客观来说在性能、能耗、稳定性等方面还会有差距,这时候就需要通过软件来弥补。

  针对目前面临的问题,我们的理念是不能只单纯地考虑数据库,而是要从软硬件基础架构出发做通盘的考虑。我们要回归数据的本质:稳定、高效,在产品设计上有所侧重,专注才能做得更专业。对万里数据库来说,我们的产品就是重事务、轻分析,先事务、后分析的发展思路。

  在稳定性方面,我们从架构出发,采用shared-nothing 分布式架构,各节点冗余,解决目前硬件潜在的稳定性问题,在软件架构上实现数据的同步、高可靠等,解决数据单点的问题。

  在高效性能方面,我们利用分布式技术,同时调度更多CPU,通过并行执行、精确扫描及CPU定向优化,弥补单个CPU带来的性能瓶颈。

数据库性能优化经验分享

  万里数据库GreatDB源代码主要为C++,跨平台编译比较友好,通过联合硬件和CPU厂家,针对CPU指令集接口,优化原子操作性能、物理指令等,提升CPU与数据库适配的性能,实现CPU定向代码优化。

  在ARM平台迁移中,我们往往会遇到不同的CPU和操作系统,因此我们会遇到非常多的版本,来适配不同的底层软硬件。因此我们通过自动化打包、自动化测试工具,将国产服务器和国产操作系统场景纳入到自动化构建系统内,为各个国产操作系统平台构建自动化编译打包脚本,产品发版时自动产出适配软件版本。

  在性能调优方面,我们通过代码、系统、网络、内存等方面实现数据库性能的优化。

  经过优化后,我们使用BenchmarkSQL压测工具验证,发现单机数据库性能可提升20%,6台服务器规模的分布式数据库性能可提升60%。

极致性能获得众多客户青睐

  由于产品性能表现优异,万里数据库中标中国移动自主可控OLTP数据库联合创新项目,在分布式数据库评标中总得分排名第一,中标份额为60%。万里数据库正与中国移动共同推动自主可控数据库产品的创新开发和落地应用,并最终实现OLTP数据库的能力内化,助力中国移动降本增效。截至目前,万里数据库已成功部署在中国移动总部和北京、西藏、山东、广东、河南、四川等多个省市和自治区。

  万里数据库已在国家电网公司各大系统中得到了应用,帮助国家电网实现关系数据库自主可控的目标。万里数据库累计支撑国家电网公司100多个业务系统建设,包括国网全业务数据中心、S6000、大数据平台等应用,覆盖国网总部、27家网省公司及节能服务公司、信产集团等直属单位,服务于国网营销、发展、人资、财务、信通等多个业务部门。

  在金融行业,万里数据库已在光大银行的云缴费系统中得到成功应用。云缴费是光大银行TPS最高的系统,荣获2019年度人民银行科技发展奖一等奖。该行倾力于打造中国最大的开放式便民缴费平台,原来采用传统的IOE架构,成本较高,性能受限。由万里数据库提供支持,升级为分布式数据库集群后,既保证了云缴费数据的强一致和高可靠,也支持按需在线扩展,性能得到大幅提升,摆脱了对传统的集中式架构的依赖。

互动交流

  在分享结束后,林韶宾还与参会嘉宾交流。林总表示:“我们做数据库产品的初心是为了更好地解决用户对于数据库高效、稳定的诉求,现在正好赶上了国家对于信息技术应用创新的大力支持,因此我们更应该抓住机会做好产品,为更多的用户提供自主可控的国产数据库,更好地支撑用户的业务和应用。”

  在国际形式日趋复杂的背景下,信息技术应用创新正在高速发展,数据库作为信息化建设必不可少的一环,在满足自主可控的前提下,更稳定、更高效、更好用的数据库产品需求正在逐级放大。未来,万里数据库将不忘DB初心,牢记使命,紧抓核心技术自主创新,始终坚持以“极致性能、极致稳定、极致易用”作为产品设计的核心出发点,完善生态产业链,推动国产数据库信创产业建设和发展。

  了解更多数据库知识,欢迎搜索并关注“万里数据库”微信公众号。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
三星宣布量产新型250GB SSD,搭载第六代TLC V-NAND
8月6日消息 今天上午三星宣布开始大规模生产新型250GB SATA固态硬盘(SSD),集成了三星的第六代256Gb......
日期:08-06
备战双十一,天天快递长春、福州两大智能分拨中心投产
2019年以来,天天快递全国打响网络升级战,上海、长沙、重庆、昆明等全国多个智能化分拨中心纷纷投......
日期:10-25
这不是一个人的战斗,万顺叫车一直与你并肩作战
疫情发生至今,国家投入了巨大的医疗资源与之抗战,更有无数白衣天使首当其冲投入到了这场战争。但,这......
日期:02-26
“熊猫女孩”和李彦宏都为这件事“上头”,每个人都该关注
近日,一个9岁的中国女孩火了!这位女孩叫黎子琳,来自中国成都。12月7日,她在第25届联合国气候变化......
日期:12-11
亚信科技中标广西兴安风电项目 加速新能源行业智慧转型
2020年7月7日,国家电投集团广西电力有限公司正式公布“兴安风电有限公司坵坪风电场无线4G网络......
日期:07-13
微盟凌芸出席2020 CCFA新消费论坛 分享零售企业构建私域流量方法论
面对新冠疫情和经济不确定性风险等多重影响,于9月3日召开的中国连锁经营协会“CCFA新消费论坛...
日期:09-04
从付费会员到会员付费 互联网音娱视频平台相继入局
近日,人气小说改编的古装大剧《庆余年》火了,爱奇艺、腾讯视频也乘势面向已购买VIP会员的用户推出......
日期:12-14
中国快递业务量连续6年居全球首位:去年人均约45件
1月20日消息 国家邮政局市场监管司副司长边作栋20日表示,2019年,中国快递服务企业业务量累计完成6......
日期:01-20
“绝世好男人”VS“旋风孝子” 京东国际告诉你这届消费者最爱买什么
最舍得海淘花钱的80后和最热衷跨国买买买的90后已经成为中国进口商品消费的核心主力;来自希腊、西班......
日期:12-31
还在找附近快递站在哪?百度地图小程序线上满足生活、政务N+需求
抗“疫”期间,轻巧便利的生活服务“小程序”广受欢迎,帮助公众进一步开启安......
日期:04-03
小米手机:5年时间,印度市场销量突破1亿台
9月6日消息 北京时间今日下午,小米国际副总裁、小米印度负责人Manu Kumar Jain(“蛮牛”......
日期:09-07
5G来了!开发者选择华为云更有未来!
2019年8月9日,2019华为开发者大会在东莞开启。在为期三天的活动中,全球超过600名华为技术专家与全球......
日期:08-12
2020年补天破解大赛倒计时 顶尖白帽黑客演绎现实版《碟中谍》
刚刚还是灯光璀璨,转瞬整个城市陷入黑暗,是现实版《碟中谍》上演?...
日期:11-10
Redmi K30红色版真机照曝光
12月4日消息 数码闲聊站放出了一张Redmi K30红色版真机图。从曝光的真机图来看,Redmi K30红色版的......
日期:12-04
2020年首个锦鲤诞生 2万元大礼空降央视新闻跨年直播间
俗话说,幸运也是一种实力。这句话虽然显得有些调侃,但玄学这种东西谁又能说得清呢。尽管努力取得......
日期:01-01
抓住短视频红利,更美APP视频面诊成为新发力点
“请朝左边转下让我看一下侧面”,北京一家医美机构的王医生正在更美APP为一位大四学生小......
日期:05-15
年收单金额近6亿,付呗助力华铁打造高铁智慧商圈
早在2016年7月,付呗就与华铁结缘,至今已合作三年之久。 合作期间付呗协助华铁开发旅途易付app,完成列车商圈微信、支付...
日期:08-13
环比提升650%,苏宁菜场生鲜销量大幅增长
受新型冠状病毒感染的肺炎疫情影响,全国各地的生鲜需求大幅增加。为减少外出,居家进行自我保护,......
日期:02-05
CNBC Jim Cramer:科技股中百度值得长期持有
摘要:近日, CNBC 旗下知名股评人 Jim Cramer 在其节目中谈论中国科技公司投资标的时,发表评论称......
日期:05-05
IDC公布2019年Q3中国5G手机销量 vivo占比超50%
11月5日,知名市场调研机构IDC发布了2019年Q3中国5G手机出货量报告。报告显示,截至9月,5G手机整体......
日期:11-06