大数据分析那些事儿：云上解决方案强在哪，华为云BigData Pro告诉你

　　根据《IDC Market Perspective：中国大数据市场生态体系研究，2019》显示，2018-2023年全球数据空间五年复合增长率(CAGR)达25.8%。而华为也曾在GIV 2025报告中指出：预计到2025年，全球每年新增数据存储量为180ZB，企业的数据利用率将会达到86%。

　　不难看出，企业的数据量依然保持着持续快速的增长，数据将成为企业智能生产力，为企业在数字世界与现实世界的深度融合中提供全面的竞争力。那么，如何从规模庞大、多样性的数据中高速准确地提取最有价值的数据呢?拥有一个灵活高效的大数据分析平台就变得尤为重要。

　　传统大数据分析平台挑战多

　　数据孤岛：如今，企业拥有PB级数据已经成为常态，EB级数据时代也将很快到来。企业需要面向结构化数据、非结构化数据、实时数据等多种类型的数据提供高扩展且统一的数据管理和数据存储能力。

　　刚性扩容：在数据空间持续增长的背景下，大数据应用场景不断增加，对企业算力的需求也在加剧提升。而同时，新品发布、热点事件等带来的业务浪涌，也需要企业大数据系统拥有极致的弹性能力。

　　利用率低：大数据行业技术栈迭代迅速，企业自行构建IDC中心和自行部署软件，一次性投资大，且折旧成本高，运营运维负担沉重。

　　作业拥塞：随着业务的发展，在数据量巨大的背景下，单次分析作业常需要读取TB-PB级的数据，多任务并发下，极易出现作业拥塞。

　　面对以上挑战，传统的以私有数据中心为基础的存算一体大数据架构，已无法满足企业海量数据分析的需求。业界知名分析机构IDC在最新的报告中明确指出：企业上云已成必然趋势。因此，在公有云上部署更灵活高效的大数据分析平台，将成为企业的必然选择。

　　华为云BigData Pro鲲鹏大数据解决方案来了

　　为应对以上挑战，华为云已正式推出业界首个鲲鹏大数据解决方案-BigData Pro，实现五大升级，为企业提供存算分离、极致高效、极致弹性的大数据服务。同时兼容开源和商业大数据生态，企业大数据应用可0改造平滑移植上云。

　　存算分离 灵活高效

　　我们知道，当前标准的Hadoop大数据架构，存储与计算是融合的。直观的描述就是，计算服务器和存储硬盘是配置在一起采购和部署的。这种方式带来的问题是，由于计算和存储是固定比例，当计算出现不足，而存储还有很多空间的时候，企业就会遇到无法单独扩容计算节点的问题，反之亦然。

　　据华为云云存储服务总经理林超介绍，华为云BigData Pro最核心的优势就是“存算分离”。在方案中，华为云基于云服务的天然优势，对原有的架构进行了优化，推出了存算分离的架构，实现存储和计算的灵活配置，单独扩容，让大数据集群的资源利用率提升75%，而综合成本最高可降低50%。

　　华为云 云存储服务总经理林超

　　超智存储 海纳数据

　　林超表示：“华为云BigData Pro鲲鹏大数据解决方案以弹性云容器CCI、弹性云服务器和DLI数据湖探索服务作为计算资源、以高性能的分布式云存储OBS作为存储资源，提供低成本、高可靠、无感扩容的大数据方案。”

　　在华为云BigData Pro鲲鹏大数据解决方案中，通过OBS对象存储来管理企业海量数据。OBS具有业界领先的性能，支持千万TPS超高并发，单流2.4Gb/s单流带宽，超业界3倍;小对象上传时延小于10ms，稳定低时延，业界领先。另外OBS海纳数据体现在支持单桶千亿对象，EB级海量存储和PB级的数据处理能力。

　　传统多副本的数据存储方式，导致存储系统的空间利用率仅有33%~50%,存储空间浪费较大。而华为云OBS采用的是独创的FlexEC算法，不只提供了高性能的数据访问性能，更是把存储空间利用率提升到了80%，企业存储成本大幅降低。

　　不仅如此，OBS还拥有12个9数据可靠性，无限的弹性扩容能力，智能数据分级管理能力，多方式访问能力，并且通过国家可信云认证，安全可靠。

　　鲲鹏算力 智能从容

　　据了解，华为云对开源K8s进行了深度优化，达到了1000个容器秒级弹性能力，特别有利于实时大数据分析对业务浪涌的弹性响应，并且引入Volcano队列批量调度技术，支持容器的智能拉起等，让企业大数据分析业务编排更加灵活;

　　使用内存级分布式缓存，结合自研的智能缓存算法，让数据访问性能提升10%以上;

　　国内首创的鲲鹏裸金属容器技术，可以让CPU的利用率提升一倍。

　　基于上述技术，华为云容器服务在大数据应用场景下，容器间请求转发效率提升50%，数据面访问性能提升10%，让企业真正地做到从容应对数据智能时代。

　　生态开放 全面兼容

　　华为云BigData Pro解决方案支持当前最主流的大数据生态，不管您的企业当前使用的是开源大数据平台版本，还是商用的大数据软件软件，都能以近乎0改造的成本，把业务平滑移植上到BigData Pro上。

　　场景丰富 应用加速

　　华为云BigData Pro大数据解决方案通过云服务的方式，让企业大数据应用加速。目前，华为云BigData Pro鲲鹏大数据解决方案可满足多场景的大数据分析处理：

　　在互联网行业实现智能推荐，例如斗鱼网络基于华为云BigData Pro鲲鹏大数据解决方案，构建公有云上的存算分离大数据分析平台，分析时长缩短35%;

　　在金融行业，可实现信用和风控管理;在电信行业，可提供客户画像与运营决策的大数据分析服务，以及在卫星气象领域包括大数据量实时分析等多种应用场景。

　　写在最后。随着5G、IoT、VR/AR、自动驾驶等技术的发展，会涌现更多大数据应用的创新，而面对海量数据带来的算力需求不均、数据结构的多样化、高并发作业等诸多挑战，华为云BigData Pro鲲鹏大数据解决方案通过存算架构进化、多核算力加持、极致弹性的鲲鹏云容器和原生多协议的云存储，为企业打造出全新的数据智能底座，正重新定义企业的大数据未来。

　　9月18日-9月20日，2019华为全联接大会(HUAWEI CONNECT 2019)将在上海世博中心举办，各种最新黑科技、产品与解决方案将重磅亮相，敬请期待。

特别提醒：本网内容转载自其他媒体，目的在于传递更多信息，并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实，对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺，并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益，请及时联系我们，本站将会在24小时内处理完毕。