您的位置:首页 > 互联网

NAS数据迁移到对象存储太麻烦?90分钟纳管1000万文件了解一下

发布时间:2020-11-30 00:00:00  来源:互联网     背景:

  一、对象存储成为海量数字底座首选

  移动互联网和物联网等技术把我们带入海量数据时代,数据终端呈现指数级增长,数据的类型和数量越来越多。在企业内部,新增数据中超过80%都是非结构化数据。

  IT初期规划中,由于数据规模较小,企业往往采用NAS存储非结构化数据。但当文件超过千万级,NAS会出现性能瓶颈,严重影响业务效率;而且数据量攀升带来的频繁扩容、升级,也增加了不小的维护工作量。

  对象存储无疑是应对海量非结构化数据增长的最佳选项,从实际部署情况看,越来越多的企业开始将非结构化数据切换到对象存储平台。

  二、技术演进带来异构管理困境

  IT建设是一个渐进的过程,技术在不断发展,IT基础设施也在不断更新。最早的时候,企业的业务信息量比较小,只用一个文件服务器就可以解决问题。随着业务发展,数据逐渐增多,磁盘阵列、软件定义存储开始成为数据基础设施的中流砥柱。

  技术演进造成了存储设备的参差不齐,品牌纷呈。异构环境带来了设备不兼容、数据迁移不便等管理难题。据统计,管理员平均40%的工作时间用于维护存储的管理功能,平均25-50%的存储管理时间用于诊断和解决问题。

  在大型数据中心里面,这种情况尤其突出。在交付广发证券档案中心对象存储项目时,客户原有NAS存储了近6000万文件,总容量近40TB,客户利用业务空窗期通过传统方式进行历史数据搬迁,耗时长达2个月,运维工作也需要持续的人力投入。如果对象存储能够快速纳管能力,业务上线时间将会大幅缩短,运维人力将得到释放,客户效益也将进一步提升。

  当NAS向对象存储演进成为必由之路,如何避免陷入设备和数据的维护管理,将是所有对象存储厂商必然克服的难题。

  三、杉岩MOS帮您免迁移纳管NAS

图1

图1.免迁移纳管NAS,IT架构平滑演进

  在MOS海量对象存储纳管NAS设备的过程中,MOS会读取NAS中每个文件的元数据信息,并将其转换为对象存储中的对象属性信息,同时将源文件与桶空间进行映射。纳管完成之后,前端业务可通过S3接口直接访问NAS中的历史数据,后续新写入的数据则直接存入对象存储中。免去了数据迁移与校验的繁琐过程,业务上线的时间大大缩短。

  在实际测试中,3个节点的对象存储集群,对1000万个文件进行纳管只需要90分钟,并且无需考虑文件大小。相比之下,使用传统方式迁移1000万个16KB大小的文件,需要12个小时左右的时间,若文件增大,迁移时间将更长。另外,在节点数更多的情况下,纳管时间会更短。

  考虑到不同客户对NAS设备的替代需求存在差异,杉岩提供了不同粒度的纳管选项。客户可选择对整个NAS目录进行纳管,也可以只纳管其中的某个子目录,从而实现增量纳管的功能。

  此外,如果客户想要淘汰NAS存储,也可通过配置生命周期管理策略,系统自动将NAS中的历史数据逐步迁移到对象存储中,无需人为干预。整个迁移过程完全透明,用户无感知。

  四、成功实践

  1.中国人保财险

  随着互联网与传统行业融合,中国人保财险的互联网业务及用户规模不断扩大,保险影像平台的数据量激增,原有NAS存储面临海量小文件性能差、设备扩容复杂、数据安全隐患等诸多挑战。

  该项目基于MOS对象存储构建影像数据存储平台,通过纳管原有NAS中近600万文件,实现资源整合;同时将海量小文件性能提升至毫秒级,业务显著提效;在线弹性扩容,满足业务发展需要;通过http协议访问,用户可直接从存储拉取数据,实现影像数据实时调阅。

  2.珠海华润银行

  珠海华润银行是珠海市首家资产过千亿的独立法人企业,业务涵盖公司金融、个人金融和金融市场等多个领域,现有珠海、深汕两个数据中心。业务持续增长使得交易单号、音视频等非结构化数据激增,日增量在200~400GB,原有NAS扩容费时费力,而且NAS不支持双中心双写,导致异地访问带宽压力大,影响客户体验。

  该项目在珠海和深汕数据中心部署6节点对象存储集群,总容量近400TB,替换原有EMC高端NAS存储,上层对接数据管理平台ODS(Operational Data Storage),支撑更大的数据规模和更高的访问性能。通过NAS纳管实现资源整合,综合成本削减超30%,IT预算分配更加合理;高并发优势和双中心数据就近读写能力,让业务提效超过50%,数据可靠性提升2倍以上。

  3.国内最大的电子认证服务机构

  作为国家级权威金融安全认证机构 ,累计服务超过2400家金融机构,其电子签名相关业务每月新增4000万个文件,NAS性能瓶颈以及频繁的冷数据归档让客户最终决定基于对象存储构建海量智能数字底座。

  该项目采用8节点、总容量800 TB的杉岩MOS对象存储集群纳管原有NAS,业务割接时间缩短到小时级,轻松支撑数十亿文件的存储需求;将低配服务器和原有NAS作为冷数据池,实现设备利旧,通过生命周期管理策略实现数据自动分层归档,综合成本降低超过40%。

  大数据时代,一个企业数据占有量越多、数据整合越有效,企业的经营发展就越有优势。杉岩数据的NAS纳管方案,极大降低了设备更替给业务连续性带来的影响,缩短了业务割接时间,同时利用自动化策略减轻管理运维压力,为企业IT架构的平滑演进保驾护航。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
华为(苏州)人工智能创新中心重大联合创新路演成功举办
7月12日,"华为(苏州)人工智能创新中心重大联合创新路演"在苏州人工智能产业园成功举行,该活动为"......
日期:07-13
联想创投午餐会对话微赞直播:企业如何精准直播营销?
日前,双11预售首日第一波,淘宝直播一哥李佳琦7小时创下123款产品推介,单日GMV成交超34亿的超强战......
日期:10-27
京东数科以“硬核”科技实力获颁德勤-亦庄高科技企业大奖
历时近5个月的2019年“德勤-亦庄高科技高成长20强”(下称“亦庄20强”)评选活......
日期:11-18
Ovum观察:电信运营商2020年盈利情况或将更加复杂
2月4日消息 Ovum对全球大型电信运营商的季度财报进行追踪,并对这些公司的业绩指引变化进行探究,观......
日期:02-04
当贝投影D3X上市,极致性价比瞬间引爆,哪有销量神话,成功向来有迹可寻
一家人,一部电影,陪伴,有时候其实很简单...如何增加幸福感,其实也很简单,金秋10月,当贝发布型号为D3......
日期:10-14
从6000件参选产品中胜出曙光“硅立方”获2019中国设计红星奖
大美不过“硅立方”。 近日,中科曙光新一代浸没液冷计算机“硅立方&rdqu......
日期:12-13
唱响你的城市,全民K歌携手明星和粉丝“敢唱一起嗨”
尽管已是初冬,但最近的长沙街头仍然一片火热,全民K歌大型K歌综艺《全民挑战者》空降长沙步步高梅......
日期:11-24
年货节买新衣光鲜亮丽 年夜饭婆婆都不好意思让你洗碗
春节绝对是中国人一年中最为浓重的一个节日,不管有多少不快,多少没完成的工作,都可以在年终化作......
日期:01-17
618演变价格大战 苏宁重磅发布“J-10%”省钱计划
后疫情时代的第一个618,意义早已超越了“购物节”。所有人都在问:零售行业会走向何处,......
日期:05-25
大楚云直播 - 教您快速优选最佳直播交友方案
直播是最近大热的行业,那么想要开发一款脱颖而出的直播系统,指定开发方案时该具备哪些功能呢,今......
日期:09-02
日媒:机器人服务员等正驱动中国无人经济
日本《日经亚洲评论》4月14日报道,原题:《机器人服务员和护士正在驱动中国无人经济》在上海一家酒......
日期:04-16
每秒都是“黄金档”,华为云助你畅享追剧好时光
芒果不仅在水果类中怎么爱都不嫌多,在综艺界的名头也是响当当。作为全国综艺的扛把子—芒果TV......
日期:10-23
主流SaaS云客服系统测评之呼叫中心
云呼叫中心无需企业自行研发、建设和维护,随时随地部署,随时随地接入,日益受到越来越多企业的青......
日期:04-28
4G与5G互为补充长期共存
6月11日讯,工信部消息,中国信息通信研究院副院长王志勤表示,4G不会被淘汰,还将在长时间为用户提......
日期:06-12
人大报告详解“灵工时代”:拍抖音,创作也是创业
9月9日,中国人民大学国家发展与战略研究院发布《灵工时代:抖音平台促进就业研究报告》(以下简称《......
日期:09-14
剑指一天1亿元目标 国美与TCL社群营销新模式5月出击
2020年受到疫情的影响,消费者宅在家中,电视作为客厅的娱乐中心,其重要地位又重新回归,成为维系家......
日期:05-09
“金山云感知城市”在重庆智博会发布 加速推动智慧城市发展
9月15日,2020线上中国国际智能产业博览会盛大开幕(以下简称“智博会”),本届智博会以...
日期:09-15
IDC预测5G在2020年会激发二手手机市场活力,转转质检服务领先行业
2020年注定不平凡,2月13日,世界移动通信大会(MWC)33年来首次宣布取消,对于很多厂商来说,未能展......
日期:02-14
奇安信齐向东:网络安全助力全球数字抗疫
“数字时代,打造网络安全底板,要靠数据驱动的内生安全框架。”在11月23日浙江乌镇召开......
日期:11-23
电竞级手游王者面世 国美零售开启iQOO Neo3新品预售
4月23日,智能手机品牌iQOO召开以“生而为赢”为主题的线上新品发布会,正式推出旗下Neo......
日期:04-24