您的位置:首页 > 互联网

航空业海量日志的智能化分析实战

发布时间:2020-07-16 12:08:05  来源:互联网     背景:

  对于当前航空业面临的海量实时业务数据监测与分析挑战,云智慧推出了一种基于业务系统日志数据,使用实时流式数据采集、大数据处理和人工智能技术实现海量日志数据智能化分析的解决方案,帮助IT运维人员实时、动态发现业务及IT系统存在的故障和异常,快速定位问题根源,保障航司业务持续、稳定和高效运行。

  挑战与需求

  随着航空及上下游服务产业链的快速发展,系统多、架构复杂、新旧业务系统长期共存,持续产生的海量日志数据缺乏有效的处理手段,对IT运维和运营带来极大的风险与挑战。

  以民航为例,旅客选择飞机出行需要经历订票、值机、登机等一系列流程,每种业务处理都要跨越多个平台的应用系统,每个系统都会实时输出日志数据记录当前应用运行情况,上述流程中任何一个应用的故障或者性能问题都会影响乘客出行。

  如何实时了解业务的整体运行状态,如何基于海量、实时的应用日志分析快速确定业务运行异常及潜在风险,如何根据业务量变化动态确定业务异常标准,如何针对当前业务中的异常情况及时预警,如何实现日志数据与其他运维监控数据的融合分析和查询,快速、准确定位业务及系统的故障,这都是日志智能分析平台需要解决的难题。

  云智慧日志智能分析解决方案及平台架构

  云智慧海量日志智能分析解决方案包括系统日志数据的实时采集、传输、集群化的消息队列、预处理组件及实时流式大数据处理,完成日志数据的解析、转换、脱敏、业务逻辑处理后,以结构化数据保存在分布式存储系统中,然后调用算法集之中的一种或多种算法组合进行多场景的智能分析、告警及可视化展示,同时提供数据API满足其它数据深入挖掘和探索需求。

  海量日志智能化分析平台架构如下图所示:

  方案特色和优势

  云智慧日志智能化分析平台解决方案为航空业务运行的连续性、用户体验的提升和业务的高效运维提供了可靠的技术支撑,此方案具有如下优势:

  1、丰富的日志数据实时采集

  • 支持自有高性能采集器,兼容主流开源数据采集器、灵活水平扩展的数据接入接口,快速接入流式数据;

  • 超高的吞吐量和极小的响应时间,数据接入即可秒级查询;

  2、高性能、动态扩展数据处理平台:内置数十种处理组件,支持可视化处理pipeline及单步处理结果验证、处理结果采用列式存储、线性存储扩展。平台具备实时流式数据处理能力,满足航空业海量日志数据实时处理和智能分析的严格要求:

  • 支持根据数据量进行水平伸缩,数据处理能力:40T/天,EPS:130万/秒。

  • 支持多个节点同时写入,写入速度:60万条/秒/节点,同等条件下,写入速度比Elasticsearch快10倍以上;

  3、多场景智能分析平台能力

  • 算法平台基于最新架构和人工智能算法,具备强大的智能化分析能力,为上层业务提供算法支撑和扩展。

  • 内置多个智能分析场景,包括日志智能搜索及上下文分析、日志模式自动识别、基于算法的智能异常检测、智能告警及指标告警对接、日志与应用性能监控、基础监控数据的融合关联分析等。

  方案价值

  基于海量日志数据的云智慧智能日志分析方案已经在航空、金融、能源等行业的智能运维项目中成功实施,实践证明此平台能给行业客户带来明显的改善和提升:

  1、实现离散日志的统一采集、处理、存储、归档以及查询,极大提升日志管理和分析的便捷性;

  2、基于实时日志数据智能分析帮助业务人员及时掌控业务运行状态,快速发现业务运行的异常并及时报警,减少业务中断时间;

  3、基于业务日志数据、应用性能监控数据、基础资源监控数据的融合分析,实现复杂线上业务及系统问题原因的快速定位,提升复杂问题处理的效率。

  客户案例实战

  某航空企业的主营业务是面向航司及上下游服务商,提供业务处理、电子分销、结算清算等服务,当出现性能缓慢或中断时,现有监控系统无法有效定位故障和异常。

  针对此用户需求,云智慧为该企业构建了基于海量实时业务日志数据的业务运维智能分析平台,通过对业务数据的实时采集、处理、多维度智能分析,及时发现系统业务层面异常情况,增强该航空客户业务预警、故障诊断与智能分析能力。

https://www.cloudwise.com/images/dola/dola-6.png

­

  此平台多次提前发现业务处理响应时间变长、业务指令交互错误率增加等故障先兆,基于智能分析算法对即将发生的异常作出预测和及时告警,从而有效避免故障的业务风险。

  总结和展望

  云智慧日志智能分析平台基于AIOps策略,融合基础资源监控、应用性能监控、用户体验监控等多维度运维数据和人工智能分析算法,能够及时发现业务运营中潜在风险,辅助管理人员作出准确判断和决策,实现对业务运营健康及未来发展趋势的持续洞察,增强企业核心竞争力。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页

本文评论
腾讯多角色射击手游《王牌战士》上线了
(原标题:腾讯多角色射击手游《王牌战士》上线,需iPhone 6以上机型)...
日期:08-13
北京木瓜移动科技股份有限公司荣获2019中国新经济创新势力榜“最佳大数据营销平台”大奖
继2019年1月的“中国新经济创新势力榜”之电商零售榜、交通出行榜、文化娱乐榜评选启动后......
日期:04-30
李兰娟院士:返校复课要“底数清” 腾讯复学码护航广东师生开学返校
随着疫情的好转,全国多个省市中小学校已陆续开学复课。据统计,各学段复学总人数接近6000万。对此,李......
日期:04-28
为超180万人次提供免费咨询服务,百度“问医生”缓解线下医院压力
疫情持续升级,确诊病例还在增加,很多奋战在抗疫最前线的医务工作者都已经处于满负荷的工作状态。......
日期:02-02
共同见证可能 商汤科技SenseCare智慧诊疗平台亮相RSNA2019
自1915年成立以来,RSNA(Radiological Society of North America)历经105载,已经成长为全球医学影......
日期:12-10
疫情下的营销突围,美的聚划算欢聚日打造全民云婚礼
随正月以来“黑天鹅”事件的不断发酵,个人、企业乃至整个......
日期:05-18
中国智慧城市大会分论坛开幕 聚焦CIM应用与发展
11月28日至30日,第十三届中国智慧城市分论坛"CIM(城市信息模型)应用与发展论坛"在浙江德清举办,广......
日期:11-29
这都能识别?QQ画图红包简直是灵魂画手们的精神伴侣
谁的身边没有几个灵魂画手?近日,QQ画图红包上线,炸出了一大波灵魂画手网友,成为网民新的快乐源泉......
日期:09-04
腾讯QQ推出辣酱表情 上面还画了只企鹅
7月3日消息,腾讯和老干妈之间的纠纷还没有最终结果,双方在营销上已经放飞自我。今日,有网友发现......
日期:07-03
CSA全球云安全峰会首次落户中国,将和北京2019网络安全大会同场举办
近日,云安全联盟(CSA)大中华区主席李雨航宣布,CSA2019年全球云安全峰会将首次落户中国,将和北京2......
日期:06-21
分析师:不支持5G的新款iPhone SE 或无助于提升苹果在华销量
本周早些时候,苹果发布了 2020 款的 iPhone SE 新机。其基本上就是将 iPhone 11 的 A13 Bionic 芯......
日期:04-17
五一假期票圈“躺赢”,看这篇就够了
为了你的五一假期可以“躺赢”, 我给你准备了一份错过等于损失好几万的必备攻......
日期:05-02
小米再次降价御敌,小米9再降300元,低至2599
再距红米k20pro降价之后,小米9也开启降价模式,根据小米最新消息,小米9明早十点开启启动夏日特惠 ......
日期:08-06
中国投资者6月14日决定:是否投资日本显示器公司
北京时间5月30日下午消息,据路透社援引《日本经济新闻》报道称,由中国大陆与台湾地区投资者组成的......
日期:05-31
京剧网游双向赋能 《神雕侠侣2》跨界演绎新武侠
近期,《神雕侠侣2》手游联动北京京剧院推出“梨园京韵”资料片,并在游戏内外展开深入合......
日期:06-24
2019全球卓越成就奖隆重揭晓!义语智能科技荣获“2019年度最佳投资价值企业”
10月31日,义语智能科技(广州)有限公司受邀参加了由广东省通信管理局指导,广东省互联网协会主办、......
日期:11-01
科学家又要搞事情?这次不是流浪地球,而是登陆DEF CON MUSIC LIVE星球
音乐打破技术边界,技术则赋予音乐无限可能。如果吉他没有通电,就没有如今丰富的摇滚乐与大众音乐......
日期:05-08
佰付美专业互联网智慧营销合作平台正式上线
不断改进 只为提供更高质量、高效率的服务 智能互联网时代,移动网络的普及不仅为......
日期:03-27
三诺声智联携手Synaptics 推出新人工智能Soundbar平台
该 Soundbar 平台支持所有主流云端语音助手,和使用Synaptics SyNAP AI 架构运行本地语义处理的本地......
日期:01-03
战绩三连跳!苏宁小Biu发布最新战报,六大爆款销量领跑行业
11月11日,热火朝天的双十一迎来巅峰之战,苏宁小Biu首战告捷,销量开创新高,以“冰洗空&ldqu......
日期:11-12