导读： 臣闻防患于未然者易，除患于未然者难 —— 明·马文升《添风宪以抚流民疏》
作为一个程序员，是否有留意到每逢节假日在各大景区时有程序员关上电脑紧急解决线上问题？如果线上呈现大量的报警，这时咱们该如何判断是本身服务问题还是依赖服务问题？午夜线上重大问题呈现，如何可能唤醒相干人员疾速响应？置信这些问题对于很多同学都不生疏，监控的重要性显而易见，那如何打造一个欠缺的监控零碎，帮助程序员发现并高效定位问题？本文将介绍百度游戏微服务监控实际，基于百度欠缺的监控根底施行，咱们打造了较为欠缺的监控零碎，上面咱们向大家介绍咱们的实际历程。
全文 4583 字，预计浏览工夫 9 分钟。
一、背景
随着业务的疾速倒退，游戏服务端研发同学均匀每人要保护 2~3 个微服务，后续业务场景增多可能会引入更多微服务，如何高效的获悉整个微服务零碎的运行状态，业务异样时如何疾速发现问题并解除故障，游戏服务端研发同学在监控实际上做了很多工作尝试。
初期的监控基于公司的 Argus 监控（日志服务器相干监控）、Monitor 监控平台（业务监控）、Sia 监控（可视化监控）等笼罩了一些根底的监控，然而因为不足体系、短少和业务的联合，整体的成果并不现实，不少问题仍然是客服和产品同学反馈，同时在跟进问题过程中研发最为头疼的一个点是在问题定位上往往要花很长的工夫，这个对业务造成了肯定的负面影响。在这种状况下咱们系统化的梳理了面临的问题并体系化的设计和优化欠缺了监控零碎，并着重针对问题定位做了和业务的深度联合，大大晋升了问题的定位效率。
上面将就咱们监控零碎的建设过程整体介绍，心愿对读者有所帮忙。
二、微服务监控初探
监控建设初期咱们次要是基于百度的监控基础设施增加各种监控，然而因为不足体系成果并不现实。只管初探阶段咱们监控能力不够欠缺且能力较弱，但这些扩散的监控措施也帮忙研发同学发现了不少零碎问题，为后续的体系化和多维度组合监控打下了根底。
2.1、日志和服务器监控
利用百度 Argus 监控平台，实现对机器状态和业务日志的监控，游戏微服务借助机器及日志监控能力对线上服务进行了监控的笼罩。
咱们初期对 Argus 监控的利用偏单维化，联合业务场景的深度不够，诸如某个问题某些实例的监测阈值及多维度报警能力初期并没有思考设计，上面是对于百度 Argus 监控的能力和流程介绍：
argus 整体数据流如下，能够反对电话、SMS、短信及百度如流报警
日志相干监控业界有大家相熟的 ELK Stack 计划（Elasticseach + Logstash + Kibana），应用 Beats（可选）在每台服务器上安装后，作为日志客户端收集器，而后通过 Logstash 进行对立的日志收集、解析、过滤等解决，再将数据发送给 Elasticsearch 中进行存储剖析，最初应用 Kibana 来进行数据的展现。
2.2、服务轮询监控
利用百度 monitor 监控平台，对于外围的接口采纳定时轮询检测的机制来辅助监控线上服务质量，monitor 平台反对可视化配置，然而须要针对每个场景做定制化配置，随着业务疾速的迭代，这种监控增加的效率和易用性已不能满足业务的需要。
2.3、服务可视化监控
利用公司 SIA 智能监控零碎，实现了服务流量、可用性、性能等指标的监控可视化，能够辅助业务研发可视化的察看服务线上状态并基于线上异样状态报警。然而业务对于 SIA 智能监控能力并没有充沛应用，导致可视化的辅助作用无限，智能能力没有体现。
图 3 监控可视化
对于业界的可视化监控工具，有诸如 Kibana、Grafana 等，相干的能力都已很欠缺，根本能够满足业务的各种展示需要，大家能够参考理解。
三、微服务监控演进
如下面所论述的，监控初探阶段的监控措施尽管能够辅助研发发现和定位一些问题，然而还是存在诸多问题，次要是如下四个方面：
- 危险裸露滞后，大多报警产生时已造成影响；
- 监控不足统一规划，相干监控项凌乱且笼罩极不残缺；
- 监控能力弱，无奈提供无效异样信息；
- 报警凌乱，研发被报警信息轰炸；
从整体监零碎建设老本和收益来看，咱们不会将过来的监控全副颠覆，而是基于在现有根底监控的能力上加以欠缺。首先咱们以系统化的视角对于监控零碎做全面设计，而后基于设计强化监控零碎各个局部的能力。
3.1、监控系统化设计
指标：无效预防、及时发现、疾速止损；
落地：基于系统化的设计指标，做了如下的落地思路拆解。
实现上从危险管制、智能监控、智能报警、高效定位四个方面来设计微服务零碎的监控系统化工作，整体流程如下：
上面从危险管制、智能监控、智能报警和高效定位四个方面逐个介绍。
3.1.1 危险管制设计
线上问题发现的机会越早越好，因为研发同学程度主观上存在差别，且通过 cooder review 无奈无效躲避上线问题的产生，所以游戏业务研发在自动化 case 和公布环节做了较多的工作，以缩小问题的产生。上面是研发做的次要危险管制项，通过这些危险管制项的落地，目前曾经能够缩小 95% 以上的上线中问题。
3.1.2 智能监控设计
游戏业务初期的监控，是扩散的监控增加：日志监控应用 argus，可视化的监控试验 SIA 智能监控平台，监控的笼罩和监控零碎之间的协同成果并没有做全局思考，这样就暴露出一些问题，如：
问题 1：
依照监控对象划分的监控，是在繁多维度上做到无效笼罩，然而零碎全局稳定异样如何探测？
问题 2：
某个实例因为网络或机器磁盘偶发故障导致 pvlost 突增，如何高效的取得信息？
问题 3：
零碎可用性稳定，是某个机房的问题，还是特定接口的问题，或是拜访上游的异样？
（1）智能异样检测
利用 SIA 零碎的智能异样检测算法，将耗时、流量、SLA 指标、支出等指标纳入到监控体系，能够高效探测到零碎的周期 / 非周期稳定异样，上面简略介绍下次要的算法。
通过将上述指标同游戏业务的流量、耗时、支出等指标的联合，在零碎周期性或非周期性的稳定时，即便是较为迟缓的降落也能够通过这些周期性检测工具
无效检测，大大提高异样检测覆盖度。
（2）全场景监控笼罩
咱们从 4 个象限笼罩监控，做到问题裸露无死角，同时针对诸如服务维度的监控，还细化了多维度的筛选能力，力求从宏观视角便于发现问题的同时也做到在微观世界可能辅助高效定位问题。
这里咱们着重提下数据监控，咱们针对游戏业务的特殊化场景，细化了须要监控的数据以及场景，以确保监控的残缺笼罩，上面是数据相干的一些监控项。
（3）多维度监控可视化辅助
多维度筛选能力：服务、接口、错误码、机房、机器实例；
异样多维度可视化：如 pvlost 基于接口、机器、机房的散布；
谬误散布可视化：分接口、分错误码；
图 6 多维度监控可视化
3.1.3 智能报警设计
报警整体做了分级报警设计，基于不同的场景设置不同的报警范畴和报警形式，缩小了非重要报警的信息泛滥，同时在报警利用上有如下整体设计：
（1）智能合并过滤与主动降级
智能过滤 ：缩小报警信息的过渡泛滥，做肯定的信息筛选；
智能报警合并 ：通过信息的合并，晋升报警的信息简介度，进一步缩小报警信息泛滥；
报警主动降级 ：解决了困扰报警触达不了值班人的问题，通过设置不同阈值扩充到不同的范畴，并降级报警的模式从邮件 -> 如流 -> 短信 -> 电话，且报警电话能够设置一直的拨打直至有人响应为止，解决了触达的问题；
（2）款式内容自定义
对于一般的实例报警或服务报警，相应报警信息依照固定格局进行输入；
外围逻辑局部增加基于富文本的报警内容定义，残缺的展现报警信息和报警问题，并提供问题的上下文语义，大大提高了信息量，为定位问题提供了短缺无效的信息。
图 8 报警内容款式自定义
3.1.4 高效定位能力反对
报警裸露信息高效 ：对于要害外围逻辑采纳 Trace 链路 + 机器人形式来实现报警的高效触达和自定义化输入，实现信息的高效传递；
报警信息确认高效 ：局部留神思考在异样信息报警后，为了确认线上的相干残缺日志数据和申请过后数据状况的疾速数据检索，实时 trace 零碎高效的解决了这个问题；
（1）外围逻辑机器人 Trace 链路信息
报警裸露信息在外围逻辑已根本达到了分钟级的问题报警 + 问题的主动定位，研发基于报警信息即能够看到对应的问题代码行数及出错起因，大大提高了问题的定位效率。
当然这个形式的报警目前还存在实现老本较高的问题，诸如在游戏业务的充值实现后给用户发道具过程中如果存在一次，咱们会暴露出申请参数、出错函数及出错的具体起因，钻研基于这个数据能够直观的明确具体的问题，然而这个须要较为定制化的实现，有肯定接入老本。
（2）实时 trace 零碎接入
利用百度 trace 中台的能力，能够做到业务在非侵入式的状况下进行采集，接入老本极低。对于时效性方面采纳了百度 DataHub 音讯队列，并利用 Dstream 实时建索引，使得从数据源到故障定位平台能够基于要害信息的检索时效性在 5 分钟以内，大大的进步研发定位效率。
四、微服务监控全景图
4.1 用户触达
通过多维度可视化监控，辅助研发基于可视化界面即可疾速剖析出问题大抵起因；基于智能报警和业务报表，能够满足在时效性和业务具体衰弱度的全面检测，让研发同学全面感知零碎的状态；
4.2 监控工具
基于公司提供的 Argus 监控、Sia 智能监控和机器人监控辅助工具，能够残缺的对系统进行全面笼罩；对于一些长周期的业务数据，诸如利用日活、下载成功率、白屏率等指标数据，则提供定制化的监控以笼罩此类场景的监控；
4.3 监控指标
对于监控指标大体分位如上一些分类，基于这些分类做到监控的无效笼罩；
4.4 监控对象
监控对象从服务器、业务日志、服务状态到业务数据、业务外围逻辑和外围场景，通过全面的监控对象梳理已做到对于监控的全面掌控。
五、总结瞻望
通过系统化的监控能力建设，无论是在时效性、定位效率还是覆盖度等均达到了较为理想的状态，研发对于重大的线上问题能够第一工夫感知，并有欠缺的辅助定位信息来帮助高效定位问题，总结整体监控的实际过程，次要是有以下几个方面的心得。
（1）系统化设计落地
监控零碎首先要明确解决的是什么问题，达到的是什么指标，将问题和指标了解分明后，实现上就以如何充沛解决问题并达成指标来思考，基于这样一个系统化的剖析拆解过程，咱们从危险管制、智能监控、智能报警、高效定位几个局部动手来实现咱们的监控零碎，以达到预期的指标。
（2）分级的思考形式在监控和报警中利用，外围逻辑集中火力
无论是监控还是报警，咱们都以指标集中于重要的性能和外围逻辑，如果现有工具无奈达到目标，那就思考多个工具组合来满足监控的指标。对于通用的逻辑性能则强调笼罩水平，以现有工具残缺笼罩。
（3）易于施行和落地
公司提供的 SIA 智能监控、argus 监控都有提供聚合的能力，对于同质的内容监控做到一步到位。而对于异构或差异化的服务，则能够以业务方现有的模式以非侵入能力反对接入，大大提高了监控的增加效率。
（4）充沛联合公司现有能力，翻新组合利用，提高效率
在应用监控根底施行的时候，不同的监控工具各有优劣，充分利用不同的监控工具的劣势达到整体监控成果的最优，同时对于诸如一些外围逻辑的监控，翻新的应用机器人报警 +trace 的内容定制化能力，实现对于外围逻辑问题的高效反馈和定位。
尽管在监控零碎方面的实际曾经达到了较为理想的成果，然而在系统故障解决、容灾等能力的自动化机制上有待进一步欠缺建设，且对于系统资源的应用并没有做到智能化的利用，目前资源的增减依然有赖于人工的干涉。后续的优化指标是在故障自动化解决、资源智能扩缩容上达到全面的自动化，以提供零碎整体的可维护性和可用性。
举荐浏览：
|如何像百度直播一样优化用户体验（起播篇）
|百度搜寻稳定性问题剖析的故事（下）
|百度搜寻稳定性问题剖析的故事（上）
———- END ———-
百度 Geek 说
百度官网技术公众号上线啦！
技术干货 · 行业资讯 · 线上沙龙 · 行业大会
招聘信息 · 内推信息 · 技术书籍 · 百度周边
欢送各位同学关注