关于运维:运维老师傅问题排查经验总结

腾讯蓝鲸智云，简称蓝鲸，是腾讯互动娱乐事业群（Interactive Entertainment Group，简称 IEG）自研自用的一套用于构建企业研发经营一体化体系的 PaaS 开发框架，该套体系不仅提供了根底运维（公布变更、监控解决、数值调整、数据提取等）的无人值守服务，而且还给运维人员提供了解决方案（工具），并随时调整，防止重复性的操作服务。

导语

看似无章可循问题进行排查时能够说是世界上最缓和且难度、强度最大的工作之一，尤其面对极高支出的业务、海量服务经营，带来极大的恐慌感并引发肾上腺素飙升，压力的存在可能诱发咱们犯下的低级失误。克服这种白痴般的本能，咱们须要克服本人快要暴发的一腔怒火、强制本人以井井有条的形式逐个发展尝试。其实做运维练就的是一种心态，足够淡定遇事而不乱，从容应对才是真。

排查出问题并找到根本原因加以解决，集体认为是一件很成就感的事件。已经有人问过我：“你是怎么想到问题呈现在 xxx 的？又是怎么确认根本原因是 xxx 的？”，我只能轻描淡写的答复：“靠教训”，而后感觉这个逼装得还能够。其实这里说的“靠教训”是很含糊的，始终以来大家可能都感觉排查问题要靠教训，然而又说不出具体通过什么样的教训排查出了问题，最初让排查问题逐步变成了一门玄学。其实问题排查工作往往遵循一些通用且不成文的实际规定，并不是一门所谓的玄说，联合本身经验、总结，心愿能为大家的理论工作带来助益。

从入行到当初，遇到过各式各样，千奇百怪的问题，然而每个业务状态和零碎均不一样，咱们往往能搜寻到很多某一个或一类问题解决办法，但集体感觉认知办法、教训难复制，所以抽（套）象（路）说说对于“问题排查”的方法论，心愿能与您产生更多的共鸣。

一、排查问题犹如破案

运维排查线上问题犹如警察破案一样，是一个不停剖析线索，推理的过程，但在筹备排查问题之前，咱们应该明确三个认知：

认知，简直是人和人之间惟一的实质差异。—— 傅盛《认知降级三部曲》

• 零碎出现异常是失常
  时至今日计算机系统曾经变得异样简单，一次用户申请可能要通过发送申请，DNS 解析，运营商网络，负载平衡，服务器，虚拟机（容器），视业务逻辑的复杂程度可能还要调用组件，缓存，存储和数据库等。每个环节都可能呈现问题，有的组件又是分布式的，大大增加的排查问题的难度，所以呈现问题后不要慌，放弃好的心态。
• 首要任务是复原零碎
  “飞机在产生紧急情况下，飞行员的首要任务是放弃飞机航行，相比保障乘客与飞机平安着陆，故障定位和排除是主要指标”，所以复原线上零碎是首要任务，而不是立马找到它产生的起因。
• 假相永远只有一个
  计算机是一门迷信，而且计算机的世界里都是由 0 或 1 组成，在这个世界里只有是或否，没有两头地带，所以在计算机世界凡事都有根本原因，没有偶尔产生，一切都是必然。

二、理解案情，评估大小

先评估出这个问题的影响范畴，是全网，某些地区，还是某条链路不可用的问题，还是很多业务线都呈现问题，评估出案情的大小，到底是一般的民事案件，还是刑事案件。

三、理清线索，整顿剖析

理清手头已失去的信息或线索，比方监控上有网络报警，有用户反馈无法访问，有开发人员反馈服务器有问题，同时间段有做变更等等，尽量不要漏掉这些看似无关紧要的线索，把这些线索先整顿下来，前面一并剖析。

推理的过程，就是依据已知线索，通过正当的设想、推断得出一个惟一的后果。线索是整个推理过程的终点，线索给出的好有不好、是否有谬误，间接会影响推理的品质，因而是最根底、也是最重要的一环。线索的梳理，最常犯错误就是信息有余，主观臆断。

四、扩充你的信息量

被动扩充信息的接管面，比方问询一下开发或算法同学，明天有没有做线上改变，网络组有无重大调整。从中获取到有价值的信息点，对于排查问题至关重要。查看监控，细看某个监控项的变动，追踪日志和调试信息都是扩充信息量的伎俩。

拓展知识面，空闲工夫多些理解相关联系统，比方架构，部署，逻辑等。一旦故障产生，探讨中也可提供你解决办法的思路，触类旁通，推动问题的排查与解决。

五、剖析证词，甄别对错

如果是内部提出的问题，比方业务投诉，用户反馈等信息，有时候是可信的，有时候人却是不可信的，举个例子之前有开发反馈成果有问题，有些广告位 bias 异样，有些失常，让咱们帮查查零碎的问题，然而最初是代码调用一处动静配置造成的。有些时候反馈的信息，是通过形容者过滤加工过的信息，他的排查和剖析有可能把你带偏了，在收集信息同时须要以扫视、狐疑的态度，剖析每个人的证词。

每个人的学习能力其实都很强的，随着教训的积攒，甄别证词能力也会逐步晋升。

六、看清问题实质

“听到马蹄声时，猜马，不要猜斑马”看到一件景象或一件事件，要看本质而不只是外表的货色，听到马蹄声时候猜是什么马，是什么人的马，是来干什么的而不是猜它是斑马还是白马还是黑马。

排查问题也一样切忌先入为主，有时候看似不可能产生、极其简略的事件可能就是最终起因，不要轻易的排除掉某项起因，比方“宇宙射线引发 SSD 数据谬误”。

很早之前碰到过一个某 svr 耗时高问题，查了很久也做了一些调优仍然不奏效，最初发现其实是网卡跑满了。

七、确定方向，发展定位

确定侦察方向，如从大到小，从上到下排查步骤，从大到小先看比方 IDC 网络，机房状态等比拟宏观的中央是否有问题，逐个排除，逐渐放大问题范畴。从上到下先从景象产生的顶端调用链逐个排查，逐渐向下深刻。

并不是所有问题都从大到小从上到下，宏观问题只有达到一定量级才会引发”量变”，从而引起的留神，在通往量变过程中，你的业务可能曾经收到某中影响而体现的很明确，此时须要宏观剖析，而后再逐步到宏观来诊断。

八、总结记录，破案归档

好忘性不如烂笔头，然而在一片凌乱问题剖析当中，让运维平心静气地记录下问题与判断的确有点不切实际。但即使如此，咱们依然能够在事件完结后为保留一份剖析材料，总结并记录处理过程中的执行步骤以及解决路径，则能帮忙本人和团队积攒贵重的解决教训。

以上办法流程翻译成运维术语：

九、吃一堑长一智

出了问题并不可怕，怕的是咱们从问题中学不到什么，怕的是相似的问题重现，进步问题定位的效率，有哪些值得去做，比方：

• 建设长效错误码机制，应用具统计、可视意义的数字来简短形容谬误含意和领域，正所谓稀释就是精髓，这一点在错误码屡试不爽。
• 失常程序中打谬误日志次要是为了更好地排查问题和解决问题，提供重要线索和领导。然而在理论中打的谬误日志内容和格局变动多样，谬误提醒上可能残缺不全、没有相干背景、不明其义，使得排查解决问题成为十分不不便或者耗时的操作。而实际上只有开发稍加用心，也需就会缩小排查问题的很多无用功。如何编写无效的谬误日志，建设日志规范，也是十分有利于问题剖析的。
• 定位问题防止二次侵害，当某个看似难以捉摸的难题呈现时，本能可能是重启，尽快让零碎恢复正常。尽管这样的形式常常可能解决问题而且起效神速，但同时也很可能把状况推向令人难以置信的好转深渊。问题排查伎俩包含重新启动不稳固零碎、尝试自动记录数据库、文件系统修复等等，这些形式往往的确能搞定难题并让零碎重回生产轨道，但同时也没准导致数据恢复致力付之东流，毁掉确定问题根本原因的机会甚至大大缩短关键性零碎的停机工夫。保留现场也十分重要，跟破案现场要要求现场勘察、样本采集、排查、锁定一模一样，对于难以重现问题，尽量创造条件保留了能够用于故障重现的数据或现场。

线上环境复杂多变，尽管这一点并不能马上解决问题起到间接作用，但保持这种解决思路，为开发和测试创造条件，升高因难以重现的疑难故障的挂起率，最终有助于业务的长期稳固。

• 建设集中的数据可视平台，不至于遇到问题才开始着手剖析，若是对业务没有足够的理解又没有数据依赖，就很可能在解决问题时雪上加霜。
• 建设沙箱影子零碎，模仿复杂多变的现网环境，躲避线上影响，重现或压测问题，如：TCPCopy、DubboCopy 等
• 搭建开源的日志可视计划，帮助咱们去解决最初”一公里”的问题，常见如：ELK、Log.io 等
• 善其事必先利其器，常见零碎排查工具 Perf、IPTraf、Netperf、TcpDump、GDB、Pstack、jstack、strace，top、iotop、Tsar 等
• … …

十、结语

总结这几年解决问题的一些思路和教训，能够演绎提炼如下几句：

收集信息，随时记录；
协调资源，把控影响；
沉着判断，从容剖析；
大胆假如，审慎尝试；
踊跃总结，以备后用。

运维专家或者是每个运维人追寻的幻想，他们敏锐的嗅觉仿佛总能揪出系统故障的根本原因。这种快速反应、精确定位的能力源自多年来解决简单零碎难题的教训积攒与集体常识储备，而且其胜利很难被复制。尽管没有哪家机构违心为其颁发认证资质，尽管如此，这依然是大家所乐于追寻的一种“超自然”的本事。

本文分享经营中的一些心得和领会。文中波及的办法、教训和思维不代表最佳实际。

蓝鲸智云简介

腾讯蓝鲸智云（简称蓝鲸）软件体系是一套基于 PaaS 的技术解决方案，致力于打造行业当先的一站式自动化运维平台。目前曾经推出社区版、企业版、私有云版，欢送体验。
请点击拜访蓝鲸官网：http://bk.tencent.com