伴随着全球数字经济快速发展,知名咨询公司IDC预测,在2020年后的未来两年中,企业数据将以每年42.2%的速度持续增长。大量数据汇聚后的数据管理与运营分析,将使企业在客户粘性、整体收入、利润增长以及成本控制上得到更大收益,从而形成企业市场核心竞争力提升的关键。
随着企业等各类型组织的业务增长,数据量持续增加,大量数据的实时与离线分析成为了新的诉求。以Hadoop为代表的大数据技术得到广泛应用与持续发展,然而大数据服务组件众多、部署与使用过程的复杂性,使企业在数据运营分析与开发管理中门槛重重。
优刻得基于多年公有云大数据产品服务经验的沉淀,结合客户市场需求的深入解析。于近日正式推出了自主研发的“智能化、轻量级、一站式大数据服务组件管理平台USDP”(以下简称USDP)。平台支持对HDFS,Kudu,Elasticsearch等30余款,主流开源大数据服务组件进行实施部署、配置管理、监控告警、故障诊断等全方位协同管理。此外,还可适配专业用户经过自定义优化的组件。 USDP还集成了自研的工作台组件,囊括数据开发、任务管理、数据集成等功能,弥补开源组件短板。
在核心定位上,USDP着手于为用户提供更加便捷、可视化的企业数据管理。一方面在用户搭建过程中,全流程自动化贯穿部署服务与组件整个环节,并提供一站式集中组件生态管理;另一方面USDP集成的实时监控视图与告警策略,可协助运维人员快速定位资源瓶颈,为资源优化提供有力支撑。轻量化的易捷架构、可视化的自动管理,将大大降低部署与平台建设的成本消耗 。
拥抱开源、轻量智能、多云融合
全面支持主流开源大数据服务组件
1)全面兼容开源大数据生态
作为优刻得自主研发的大数据管理平台,USDP支持众多(如 HDFS、YARN、Hive、HBase、Spark、Flink 等)主流开源大数据服务组件的安装部署、运行监控与配置管理。其中USDP 提供的开源服务组件的部署和管理能力,本身不会对客户的技术选型产生任何影响,也不会像其他厂商的自研服务对客户形成技术上的绑定。2)支持丰富完整的服务组件
USDP完全中立、无捆绑原则,支持30余款主流服务组件协同工作。与其他同类型产品相比,USDP支持的服务组件数量更多,能够覆盖客户需要用到的绝大部分服务组件,使得客户可以通过一个平台纳管所有服务组件。同时,USDP产品中的服务完全基于Apache版本进行集成,并进行了大量兼容性测试与压力测试。在确保各个服务稳定运行的同时,兼顾 Apache 官方频繁的 BUG 修复,用户无需承担额外学习成本。
轻量级、智能化的操作体验:
USDP 从国内客户的操作和使用习惯出发,简化和优化客户的操作流程,提供系统初始化工具,支持将相关的先验知识。如服务间的组合和依赖关系,启动的先后顺序等内置在平台系统当中,对客户屏蔽复杂的操作细节,做到一键式环境检查和集群部署,从而大大降低了客户的使用门槛。
得益于优刻得在公有云为海量用户提供大数据产品及服务的持续经验积累。USDP为每一个支持的服务组件预置了一套完善的,服务监控和告警配置模板。客户无需任何先验知识,即可通过监控模块掌握集群和服务运行状况,并通过简单配置对外发送预警信息,协助运维人员及时介入排查问题。
对公有云、私有云环境的全面支持
USDP 脱胎于优刻得公有云大数据服务之上,经过公有云大数据产品运营中的反复验证与打磨。在此基础上,针对于私有云部署等应用场景进行了升级和优化。一方面,USDP对各类型环境的部署具有良好的适配性,系统集成的服务组件经过了充分的兼容与压力性测试,能够确保持续稳定且高效运行。另一方面,优刻得将公有云上持续积累的大数据开发和运维经验,完整的融入到 USDP中。在用户使用 USDP 构建和管理大数据集群的过程中,如果遇到问题或故障,系统内置的智能诊断模块,结合技术专家的专业经验,能够快速帮助客户识别问题并排除故障。
典型场景应用介绍
场景一:数据仓库
“维度数仓”是国内最常用的数仓模型之一。“维度数仓”按照事实表、维度表来构建数据仓库、数据集市。在维度建模方法体系中,维度描述事实的角度,如日期、客户、供应商等。事实是要度量的指标,如客户数、销售额等。通过 USDP 管理平台,用户可以部署构建维度数仓所需的一切服务,快速构建企业数据中台。
场景二:机器学习
机器学习是一类算法的总称,这些算法企图从大量历史数据中挖掘出其中隐含的规律,并用于预测或者分类。在机器学习领域,对运算往往有大量需求,此时通过 USDP 部署 YARN 以及 Spark、Flink 等分布式运算框架,搭配组件自有算法或企业自研算法,即可事半功倍的进行机器学习开发。同时,在深度学习领域,建模所需的大量数据,也可以存储于 HDFS,从而真正实现一站式开发。
场景三:业务信息检索
USDP 中提供的数仓类服务套件,可以方便用户快速针对 OLTP 系统进行数据读写,也许并非会使用到所有服务,但 USDP 依然支持在成熟的部署方案中,选择独立的服务进行部署。例如,业务系统需要使用 ES 存储服务器日志,用户只需要在 USDP 控制台中选择部署 ES 即可。
USDP可以部署在用户私有数据中心,也可以与优刻得的云上资源管理和运维服务能力无缝结合,为用户提供稳定、一体化、高性价比的数据仓库、离线批处理、实时流处理、即时查询、数据挖掘等大数据解决方案。
特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。