乐趣区

关于日志分析:高效实战｜航空业海量日志数据的智能化分析

jiezi

对于以后航空业面临的海量实时业务数据监测与剖析挑战，云智慧推出了一种基于业务系统日志数据，应用实时流式数据采集、大数据处理和人工智能技术实现海量日志数据智能化剖析的解决方案，帮忙 IT 运维人员实时、动静发现业务及 IT 零碎存在的故障和异样，疾速定位问题本源，保障航司业务继续、稳固和高效运行。

挑战与需要

随着航空及上下游服务产业链的疾速倒退，零碎多、架构简单、新旧业务零碎长期共存，继续产生的海量日志数据不足无效的解决伎俩，对 IT 运维和经营带来极大的危险与挑战。

以民航为例，旅客抉择飞机出行须要经验订票、值机、登机等一系列流程，每种业务解决都要逾越多个平台的利用零碎，每个零碎都会实时输入日志数据记录以后利用运行状况，上述流程中任何一个利用的故障或者性能问题都会影响乘客出行。

如何实时理解业务的整体运行状态，如何基于海量、实时的利用日志剖析疾速确定业务运行异样及潜在危险，如何依据业务量变动动静确定业务异样规范，如何针对以后业务中的异常情况及时预警，如何实现日志数据与其余运维监控数据的交融剖析和查问，疾速、精确定位业务及零碎的故障，这都是日志智能剖析平台须要解决的难题。

云智慧日志智能剖析解决方案及平台架构

云智慧海量日志智能剖析解决方案包含系统日志数据的实时采集、传输、集群化的音讯队列、预处理组件及实时流式大数据处理，实现日志数据的解析、转换、脱敏、业务逻辑解决后，以结构化数据保留在分布式存储系统中，而后调用算法集之中的一种或多种算法组合进行多场景的智能剖析、告警及可视化展现，同时提供数据 API 满足其它数据深刻开掘和摸索需要。

海量日志智能化剖析平台架构如下图所示：

计划特色和劣势

云智慧日志智能化剖析平台解决方案为航空业务运行的连续性、用户体验的晋升和业务的高效运维提供了牢靠的技术撑持，此计划具备如下劣势：

  1. 丰盛的日志数据实时采集

    1. 反对自有高性能采集器，兼容支流开源数据采集器、灵便程度扩大的数据接入接口，疾速接入流式数据。
    2. 超高的吞吐量和极小的响应工夫，数据接入即可秒级查问。

  2. 高性能、动静扩大数据处理平台。 内置数十种解决组件，反对可视化解决 pipeline 及单步处理结果验证、处理结果采纳列式存储、线性存储扩大。平台具备实时流式数据处理能力，满足航空业海量日志数据实时处理和智能剖析的严格要求。

    1. 反对依据数据量进行程度伸缩，数据处理能力：40T/ 天，EPS：130 万 / 秒。
    2. 反对多个节点同时写入，写入速度：单个节点：60 万条 / 秒。同等条件下，写入速度比 Elasticsearch 快 10 倍以上。

  3. 多场景智能剖析平台能力

    1. 算法平台基于最新架构和人工智能算法，具备弱小的智能化剖析能力，为下层业务提供算法撑持和扩大。
    2. 内置多个智能剖析场景，包含日志智能搜寻及上下文剖析、日志模式自动识别、基于算法的智能异样检测、智能告警及指标告警对接、日志与利用性能监控、根底监控数据的交融关联剖析等。

计划价值

基于海量日志数据的云智慧智能日志剖析计划曾经在航空、金融、能源等行业的智能运维我的项目中胜利施行，实践证明此平台能给行业客户带来显著的改善和晋升：

  • 实现离散日志的对立采集、解决、存储、归档以及查问，极大晋升日志治理和剖析的便捷性。
  • 基于实时日志数据智能剖析帮忙业务人员及时掌控业务运行状态，疾速发现业务运行的异样并及时报警，缩小业务中断工夫。
  • 基于业务日志数据、利用性能监控数据、根底资源监控数据的交融剖析，实现简单线上业务及零碎问题起因的疾速定位，晋升简单问题解决的效率。

客户案例实战

某航空企业的主营业务是面向航司及上下游服务商，提供业务解决、电子分销、结算清理等服务，当呈现性能迟缓或中断时，现有监控零碎无奈无效定位故障和异样。

针对此用户需要，云智慧为该企业构建了基于海量实时业务日志数据的业务运维智能剖析平台，通过对业务数据的实时采集、解决、多维度智能剖析，及时发现零碎业务层面异常情况，加强该航空客户业务预警、故障诊断与智能剖析能力。

此平台屡次提前发现业务解决响应工夫变长、业务指令交互错误率减少等故障前兆。基于智能剖析算法对行将产生的异样作出预测和及时告警，从而无效防止故障的业务危险。

总结和瞻望

云智慧日志智能剖析平台基于 AIOps 策略，交融根底资源监控、利用性能监控、用户体验监控等多维度运维数据和人工智能剖析算法，可能及时发现业务经营中潜在危险，辅助管理人员作出精确判断和决策，实现对业务经营衰弱及将来发展趋势的继续洞察，加强企业外围竞争力。

开源福利

云智慧已开源数据可视化编排平台 FlyFish。通过配置数据模型为用户提供上百种可视化图形组件，零编码即可实现合乎本人业务需要的炫酷可视化大屏。同时，飞鱼也提供了灵便的拓展能力，反对组件开发、自定义函数与全局事件等配置，面向简单需要场景可能保障高效开发与交付。

点击下方地址链接，欢送大家给 FlyFish 点赞送 Star。参加组件开发，更有万元现金等你来拿。

GitHub 地址：https://github.com/CloudWise-OpenSource/FlyFish

Gitee 地址：https://gitee.com/CloudWise/fly-fish

超级体验官流动： http://bbs.aiops.cloudwise.com/d/712-flyfish

万元现金流动： http://bbs.aiops.cloudwise.co…

微信扫描辨认下方二维码，备注【飞鱼】退出 AIOps 社区飞鱼开发者交换群，与 FlyFish 我的项目 PMC 面对面交换～

退出移动版