关于运维安全:案例分享|金融业数据运营运维一体化建设

52次阅读

共计 2863 个字符,预计需要花费 8 分钟才能阅读完成。

作者:云智慧 售前 架构师 Jaden Li(李俊杰)

一、案例背景

金融行业正在进入以数字化为导向疾速倒退的关键时期,相比于其余行业,金融行业的经营运维建设有着 IT 零碎规模宏大、业务零碎跨代且简单的特殊性,而且金融监管机构对金融业的稳定性、安全性有着严格的政策要求,但很多金融机构都存在因为顶层数据指标不标准和指标体系建设不欠缺,导致 IT 技术指标与业务经营指标同时存在着数据品质较差、关联性较弱、场景笼罩扩散等问题。

本案例在制订我的项目阶段性指标时充分考虑到我的项目各建设阶段的实在需要与产品能力的匹配度,以及赋能业务场景建设的深度等因素,以阶段化的思路帮助客户持续性、体系化地建设经营运维一体化平台。上面将介绍云智慧产品体系在我的项目不同阶段进行指标布局的定位。

  1. 阶段一:能力 平台化 制订该阶段指标时更多地关注如何将产品能力打散进行功能化重组,从而打造满足金融行业经营运维综合需要的平台性能及零碎能力。同时在建设过程中全面梳理企业经营运维场景数据模型,通过本平台承载并积淀金融行业属性的方方面面,包含数据治理方法论体系等。
  2. 阶段二:平台场景化, 阶段一基于平台能力建设的业务场景能力已初步具备可复用性,该阶段的指标将着重延长至外围业务场景建设,并持续摸索如何晋升业务场景能力的复用效率,为后续继续深入场景建设奠定好根底。
  3. 阶段三:深入场景建设, 该阶段次要蕴含异地多核心部署架构降级及综合经营能力晋升,保障曾经在各外围业务场景建设实现的经营运维成绩。

二、业务场景

(一) 客户服务场景

  • 业务痛点:客户服务部门在解决面向所有业务条线的投诉工单时,须要繁琐地登录六七套零碎能力实现后果查问,当波及营销流动异样时要连线机房的共事应用命令行终端剖析业务日志 …
  • 技术难点:营销业务系统日志量大(40+ 亿 / 每天)、日志链路标准治理简单、业务敏态数据最终一致性要求高、业务场景建设布局周期短(单周内测、双周上线)。
  • 解决方案:为了应答企业客户投诉及业务数据查问等相干场景,通过云智慧对立采控核心产品对接所有数据源,应用云智慧运维数据平台产品提供流式数据计算及数仓能力实现数据治理工作,应用云智慧表单低代码产品以可视化拖拽的形式设计业务查问界面,最终在生产环境已上线蕴含但不限于近程转账、生存缴费等 50+ 客服查问场景,满足了客户服务部门一站式剖析用户全场景行为,便捷地查问工单所波及业务数据的需要,以最快的速度解决并敞开工单,缩小工单流转工夫,加重客服部门工作负荷的同时晋升消费者的满意度。

(二) 业务监控场景

  • 业务痛点:因为营销流动数据的全维度洞察能力受限于低效的传统大数据分工模式,导致各个重大营销流动的成果都受到羊毛党行为的冲击,事先少伎俩、事中反馈慢、预先叹复盘。
  • 技术难点:流式数据多流勺兑逻辑简单(前置解密用于关联勺兑、后置脱敏用于合规落库)、流式数据全流程解决时效性要求高(近实时 <= 4min)。
  • 解决方案:借助云智慧运维数据平台产品的流式计算能力,将经营部门剖析营销流动过程中的用户异样行为过程积淀为一套业务异样监控常态化的工作编排,比方票券异地核销门路监控工作、微信免单套利趋势剖析工作。

(三) 经营剖析场景

  • 业务痛点:客户面对几十上百套业务交易系统,难以基于人工教训配置的监控策略去判断各个外围业务场景的经营指标与技术指标运行态势是否失常,进而短少相似业务监控模板的伎俩对同类业务场景进行对立纳管、经营监控剖析,比方业务交易品质监控、业务交易趋势剖析等场景。
  • 技术难点:智能类算法难以灵便、稳固、精确地依据各个外围业务场景的数据特色进行学习并主动生成监控阈值(动静基线、频域剖析、主动阈值等)、日志模式识别粒度动态变化不定。
  • 解决方案:通过云智慧监控核心产品自在拖拽可视化控件设计业务主题监控看板、应用云智慧算法核心产品的算法实验室对算法泛型进行训练、主动标注噪点,训练出适应客户业务数据特色的算法泛型,现阶段已上线 1000+ 数据分析模型撑持 110+ 个业务主题经营剖析场景。

三、性能框架

该案例的整体性能框架自下而上可分为数据平台层、数据治理层、性能服务能、业务场景层五个层级,各层级性能如下:

  1. 数据平台层:具备异地多核心容灾能力;其中隐含了我的项目一二期阶段曾经建设好的数据接入层,反对实时同步生产环境业务数据库敏态数据、API/RPC 形式接口类型数据、相似 Kafka 音讯队列数据等,在数据接入的过程中对数据流进行状态治理、流量监控、数据品质监控等全面的数据品质标准化查看。
  2. 数据治理层:对实时接入的业务数据流进行数据荡涤、数据勾兑、数据压缩等数据品质标准化解决,保障写入平台的业务数据满足数仓的数据品质标准要求。实时数仓体系分层为数据贴源层(ODS)、数据仓库层(DW)、数据应用层(ADS),其中数据贴源层(ODS)是数据源接入到本平台后未作任何数据处理的镜像数据表层,数据应用层(ADS)是面向业务场景间接可生产的成品数据;
  3. 性能服务层:该层包含基于数据治理搭建的指标体系、基于业务链路监控看板治理的业务引擎、集成了 7 类算法运维场景 24 种智能算法类型的智能引擎(对立算法核心),以及告警引擎。
  4. 业务场景层:经营侧蕴含客户服务查问、交易品质剖析、产品地图治理、业务引擎等场景模块,运维侧蕴含业务指标监控、日志模式识别、日志异样检测及算法主动举荐、专家标注等能力模块。

四、案例总结

云智慧作为国内当先的全栈智能业务运维解决方案服务商,致力于业务运维的智能化降级摸索,以全场景智能业务运维解决方案作为抓手,保障客户业务连续性、促成客户业务服务翻新。

该案例中的平台通过三个阶段的继续迭代降级,胜利突破了全域数据之间的壁垒,补救了传统大数据平台在实时数据分析方面一贯存在的弱势,已在多个业务部门宽泛应用并失去良好的口碑反馈,此案例的胜利从某种意义上代表着金融行业经营运维一体化建设的一次重大突破。同时,该平台的场景化能力建设也为将来的经营运维工作提供了更多的设想空间,通过对全域数据进行多维度地剖析开掘为经营运维一体化模式的翻新激活更多地可能性,助力客户持续放弃行业领跑的竞争劣势。

开源福利

云智慧已开源数据可视化编排平台 FlyFish。通过配置数据模型为用户提供上百种可视化图形组件,零编码即可实现合乎本人业务需要的炫酷可视化大屏。同时,飞鱼也提供了灵便的拓展能力,反对组件开发、自定义函数与全局事件等配置,面向简单需要场景可能保障高效开发与交付。

点击下方地址链接,欢送大家给 FlyFish 点赞送 Star。参加组件开发,更有万元现金等你来拿。

GitHub 地址:https://github.com/CloudWise-…

Gitee 地址:https://gitee.com/CloudWise/f…

超级体验官流动: http://bbs.aiops.cloudwise.co…

万元现金流动: http://bbs.aiops.cloudwise.co…

微信扫描辨认下方二维码,备注【飞鱼】退出 AIOps 社区飞鱼开发者交换群,与 FlyFish 我的项目 PMC 面对面交换~

正文完
 0