关于运维安全:案例分享|金融业数据运营运维一体化建设

作者:云智慧 售前 架构师 Jaden Li(李俊杰) 一、案例背景金融行业正在进入以数字化为导向疾速倒退的关键时期,相比于其余行业,金融行业的经营运维建设有着 IT 零碎规模宏大、业务零碎跨代且简单的特殊性,而且金融监管机构对金融业的稳定性、安全性有着严格的政策要求,但很多金融机构都存在因为顶层数据指标不标准和指标体系建设不欠缺,导致 IT 技术指标与业务经营指标同时存在着数据品质较差、关联性较弱、场景笼罩扩散等问题。 本案例在制订我的项目阶段性指标时充分考虑到我的项目各建设阶段的实在需要与产品能力的匹配度,以及赋能业务场景建设的深度等因素,以阶段化的思路帮助客户持续性、体系化地建设经营运维一体化平台。上面将介绍云智慧产品体系在我的项目不同阶段进行指标布局的定位。 阶段一:能力 平台化 , 制订该阶段指标时更多地关注如何将产品能力打散进行功能化重组,从而打造满足金融行业经营运维综合需要的平台性能及零碎能力。同时在建设过程中全面梳理企业经营运维场景数据模型,通过本平台承载并积淀金融行业属性的方方面面,包含数据治理方法论体系等。阶段二:平台场景化, 阶段一基于平台能力建设的业务场景能力已初步具备可复用性,该阶段的指标将着重延长至外围业务场景建设,并持续摸索如何晋升业务场景能力的复用效率,为后续继续深入场景建设奠定好根底。阶段三:深入场景建设, 该阶段次要蕴含异地多核心部署架构降级及综合经营能力晋升,保障曾经在各外围业务场景建设实现的经营运维成绩。 二、业务场景(一) 客户服务场景业务痛点:客户服务部门在解决面向所有业务条线的投诉工单时,须要繁琐地登录六七套零碎能力实现后果查问,当波及营销流动异样时要连线机房的共事应用命令行终端剖析业务日志...技术难点:营销业务系统日志量大(40+亿/每天)、日志链路标准治理简单、业务敏态数据最终一致性要求高、业务场景建设布局周期短(单周内测、双周上线)。解决方案:为了应答企业客户投诉及业务数据查问等相干场景,通过云智慧对立采控核心产品对接所有数据源,应用云智慧运维数据平台产品提供流式数据计算及数仓能力实现数据治理工作,应用云智慧表单低代码产品以可视化拖拽的形式设计业务查问界面,最终在生产环境已上线蕴含但不限于近程转账、生存缴费等 50+ 客服查问场景,满足了客户服务部门一站式剖析用户全场景行为,便捷地查问工单所波及业务数据的需要,以最快的速度解决并敞开工单,缩小工单流转工夫,加重客服部门工作负荷的同时晋升消费者的满意度。 (二) 业务监控场景业务痛点:因为营销流动数据的全维度洞察能力受限于低效的传统大数据分工模式,导致各个重大营销流动的成果都受到羊毛党行为的冲击,事先少伎俩、事中反馈慢、预先叹复盘。技术难点:流式数据多流勺兑逻辑简单(前置解密用于关联勺兑、后置脱敏用于合规落库)、流式数据全流程解决时效性要求高(近实时 <= 4min)。解决方案:借助云智慧运维数据平台产品的流式计算能力,将经营部门剖析营销流动过程中的用户异样行为过程积淀为一套业务异样监控常态化的工作编排,比方票券异地核销门路监控工作、微信免单套利趋势剖析工作。 (三) 经营剖析场景业务痛点:客户面对几十上百套业务交易系统,难以基于人工教训配置的监控策略去判断各个外围业务场景的经营指标与技术指标运行态势是否失常,进而短少相似业务监控模板的伎俩对同类业务场景进行对立纳管、经营监控剖析,比方业务交易品质监控、业务交易趋势剖析等场景。技术难点:智能类算法难以灵便、稳固、精确地依据各个外围业务场景的数据特色进行学习并主动生成监控阈值(动静基线、频域剖析、主动阈值等)、日志模式识别粒度动态变化不定。解决方案:通过云智慧监控核心产品自在拖拽可视化控件设计业务主题监控看板、应用云智慧算法核心产品的算法实验室对算法泛型进行训练、主动标注噪点,训练出适应客户业务数据特色的算法泛型,现阶段已上线 1000+ 数据分析模型撑持 110+ 个业务主题经营剖析场景。 三、性能框架 该案例的整体性能框架自下而上可分为数据平台层、数据治理层、性能服务能、业务场景层五个层级,各层级性能如下: 数据平台层:具备异地多核心容灾能力;其中隐含了我的项目一二期阶段曾经建设好的数据接入层,反对实时同步生产环境业务数据库敏态数据、API/RPC 形式接口类型数据、相似 Kafka 音讯队列数据等, 在数据接入的过程中对数据流进行状态治理、流量监控、数据品质监控等全面的数据品质标准化查看。数据治理层:对实时接入的业务数据流进行数据荡涤、数据勾兑、数据压缩等数据品质标准化解决,保障写入平台的业务数据满足数仓的数据品质标准要求。实时数仓体系分层为数据贴源层(ODS)、数据仓库层(DW)、数据应用层(ADS),其中数据贴源层(ODS)是数据源接入到本平台后未作任何数据处理的镜像数据表层,数据应用层(ADS)是面向业务场景间接可生产的成品数据;性能服务层:该层包含基于数据治理搭建的指标体系、基于业务链路监控看板治理的业务引擎、集成了 7 类算法运维场景 24 种智能算法类型的智能引擎(对立算法核心),以及告警引擎。业务场景层:经营侧蕴含客户服务查问、交易品质剖析、产品地图治理、业务引擎等场景模块,运维侧蕴含业务指标监控、日志模式识别、日志异样检测及算法主动举荐、专家标注等能力模块。四、案例总结云智慧作为国内当先的全栈智能业务运维解决方案服务商,致力于业务运维的智能化降级摸索,以全场景智能业务运维解决方案作为抓手,保障客户业务连续性、促成客户业务服务翻新。 该案例中的平台通过三个阶段的继续迭代降级,胜利突破了全域数据之间的壁垒,补救了传统大数据平台在实时数据分析方面一贯存在的弱势,已在多个业务部门宽泛应用并失去良好的口碑反馈,此案例的胜利从某种意义上代表着金融行业经营运维一体化建设的一次重大突破。同时,该平台的场景化能力建设也为将来的经营运维工作提供了更多的设想空间,通过对全域数据进行多维度地剖析开掘为经营运维一体化模式的翻新激活更多地可能性,助力客户持续放弃行业领跑的竞争劣势。 开源福利云智慧已开源数据可视化编排平台 FlyFish 。通过配置数据模型为用户提供上百种可视化图形组件,零编码即可实现合乎本人业务需要的炫酷可视化大屏。 同时,飞鱼也提供了灵便的拓展能力,反对组件开发、自定义函数与全局事件等配置, 面向简单需要场景可能保障高效开发与交付。 点击下方地址链接,欢送大家给 FlyFish 点赞送 Star。参加组件开发,更有万元现金等你来拿。 GitHub 地址: https://github.com/CloudWise-... Gitee 地址:https://gitee.com/CloudWise/f... 超级体验官流动: http://bbs.aiops.cloudwise.co... 万元现金流动: http://bbs.aiops.cloudwise.co... 微信扫描辨认下方二维码,备注【飞鱼】退出AIOps社区飞鱼开发者交换群,与 FlyFish 我的项目 PMC 面对面交换~

July 4, 2022 · 1 min · jiezi

关于运维安全:WGCLOUD怎么设置每页显示多少条

在server/config/application.yml能够批改列表页面,每页显示多少条数据,如下,批改数字即可,而后重启server就好了,关上页面看看是不是批改过去了 #每页显示多少条数据,倡议不小于10 pageSize: 20

April 28, 2022 · 1 min · jiezi

关于运维安全:WGCLOUD专业版到期后怎么办

WGCLOUD专业版到期后,会主动降为个人版,但所有数据都会保留,其余没有影响如果续费后,所有性能主动复原到到期之前的状态

December 3, 2021 · 1 min · jiezi

关于运维安全:免费的IT运维软件下载wgcloud

WGCLOUD监控零碎网址:http://www.wgstart.com 这是一款收费开源的运维管理软件,轻量实用,性能和性能都很出众

November 15, 2021 · 1 min · jiezi

关于运维安全:运维实战腾讯云会展安全的势道术

受到新冠疫情的影响,2020年“云会展”成为寰球新趋势,与之相应的平安保障工作也成为相干企业关注的重点。在近日举办的腾讯云会展线上发布会上,腾讯平安交付运维总监周誉发表《腾讯云会展平安保障之道》主题演讲,围绕云会展平安运维的“势”、“道”、“术”,论述腾讯平安运维理念与防控策略,分享腾讯平安高效护航云会展平安的实战经验。 腾讯平安交付运维总监 周誉 云会展成行业趋势,商业时机与平安危险共存以后新冠疫情在世界范畴内仍呈蔓延态势,为尽可能复原经贸交换和企业经营、升高损失,各地政府和企业纷纷发力线上经济,云会展模式已俨然成为企业推广的常态化动作。然而,风口之下,云会展暗藏的平安危险也不容忽视。一方面,作为一项系统性工程,云会展平安治理危险突出。云会展关系民生经济,受到相干监管部门高度关注,无关参展各方的平安合规性是否符合要求,监管方、参与者等多方平安治理联动问题,都是云会展平安保障须要思考的重点。另一方面,云计算、大数据、直播等新技术的引入,以及短时间内的高关注度,都令云会展被攻打危险继续升高。典型平安危险包含参加人的身份辨认危险、账号危险、DDoS危险、WEB攻打危险、直播内容危险、数据透露危险等等。 以数据安全为外围,“内容+加固+保障”全面防控针对云会展裸露的平安危险,腾讯云会展平安保障之道以数据安全为外围,通过构建全面内容平安建设、全链路防护与加固和专家服务体系保障三大动作,构建全面防控体系,保障高效、平安的云会展体验。 业务数据安全是云会展保障的外围。针对参加云会展企业对数据安全的强需要,腾讯平安通过对敏感数据进行全流程监控,对和数据相干的异样行为进行实时剖析,建设继续、动静的防控体系,并采纳数据安全零碎进行协同进攻。在数据全生命周期防护方面,对数据的采集、传输、存储、解决、替换、应用、销毁全环节上都做了平安治理措施,最大水平上升高数据泄露危险。 在内容平安建设方面,通过大量机器资源以及二次人工审核,对文本、视频、图像、音频内容做审核。针对涉黄、涉政、暴恐、低俗等内容做重点审核,并联合审核后果提供智能拦挡策略,输入违规类型、违规工夫、违规解决倡议等审核后果,对云会展的经营做全面、高效的反对,升高合规危险。 在平安加固方面,基于场景化的平安产品与专家服务,提供业务流和服务流的双重保障。从参与方客户端到云上会展零碎拜访链的每个环节点、全链路进行布控,联合腾讯平安威逼情报,晋升防护效率,保障云会展服务体验。在服务保障方面,由腾讯平安专家服务团队提供7*24小时重爱护航,打造事先监测、事中响应、预先优化晋升的全流程服务,针对最新安全事件处理、网络安全策略等进行优化,固化平安运维成绩,实现防护能力迭代降级。 不久前胜利举办的“云上广交会”,正是腾讯云会展平安运维的最佳实际之一。作为我国首次网上举办的大型国内交易会,广交会波及业务状态简单,且对境外用户间接凋谢,平安责任重大。腾讯平安作为重保团队,在展会揭幕前两个月就投入到平安建设中,进行了大量的危险评估、破绽测试与攻防演练等工作,展会期间24小时不间断值守,最终确保了0平安危险、0安全事故。杰出的重保问题,取得了广东省公安厅的认可,被评为广交会优良技术支持单位。

September 2, 2020 · 1 min · jiezi