本文为「Dev for Dev 专栏」系列内容，作者为声网大数据算法工程师黄南薰。
01 主动运维介绍
2016 年，Gartner 创新性地提出了 AIOps 的概念[1]，创始了人工智能辅助运维决策的新篇章。
AIOps 的全称为 Artificial Intelligence for IT Operations，即为 IT 运维服务的人工智能。传统的运维形式往往依赖数个具备专业知识的运维人员对某个特定场景下的服务进行监控与决策。随着公司体量的成长，业务场景及数量指数型增长，传统运维将面临着决策工夫长、决策难度大、人力老本低等问题，一旦呈现重大决策失误，就可能造成微小的商业损失。然而，海量的数据正好是机器学习的善于畛域。
一套成熟的机器学习算法可能从运维操作中积攒判断教训，不眠不休地继续对数据进行监控和剖析，为运维决策提供有价值的信息。
02 SD-RTN™ 场景下的主动运维
1、场景介绍
SD-RTN™，全称为 Software Defined Real-time Network，是声网 专为双向实时音视频互动而设计的软件定义实时网。
它实现的外围是由遍布寰球的机房搭建起的音视频传输网络，每个机房在信息传递的过程中都承当着发送和承受的工作。所有通过这些机房的音视频品质会通过肯定的形式进行指标采集和上报，用于实时品质监控。而一旦这些指标反映出通过某个机房的通话呈现了不可承受的问题，则须要对机房进行对应的运维操作，以保障用户的优质音视频体验。
传统的运维办法应用相对水位或逻辑条件的形式进行机房品质监控，这种监控尽管可能辨认一些品质异样，但存在着漏警误警重大、维度繁多等问题，针对凑近阈值的报警短少分别能力，对于非常规品质异样的传输质量指标曲线也不足辨认能力。
在业务、算法、数据、运维各团队的协力单干下，声网打造了一套专属的 SD-RTN™ AIOps 框架，以机器学习的形式逐渐代替了人工运维，打造了迅捷和牢靠的自动化运维流程。
2、全链路展现
AIOps 现流程如图所示。大规模的机房数据通过数据上报的形式由数据中台解决存储，大数据算法平台流式读取数据，实现机房级、区域级数据实时异样监控，发现异常后将信息流传递到运维侧，同时开启品质复原检测以监测异样机房品质是否复原。主动禁用与复原的数据会寄存在算法平台，作为抽样数据以检测算法成果，并为算法后续训练提供继续数据源。
目前算法 曾经实现秒级粒度和分钟级粒度的优质传输率品质检测，机房间链路检测及机房内存溢出危险检测，从多个维度实现对海量机房的全面监控。
一旦机房品质产生较大水平的异样，算法可能保障全链路在数十秒内及时响应，对机房进行主动运维操作，并能依据品质复原状况及时对机房进行主动复原操作。目前算法均匀每天执行 50 至 100 次的主动运维操作，根本齐全代替了人工操作，有感知的机房异样精确召回均超过 97%，在故障复原后十分钟内齐全实现流量从新接入，达到了精细化运维的水准。
全链路的优化也在本年度继续进行中，算法团队致力于实现算法的主动部署和主动运维，放慢算法模型的更新迭代，进步算法故障自恢复能力，便于运维团队操作保护；数据平台将打造高可用的数据中心，实现数据源全年高可用保障；运维平台将打造可编程运维平台，实现运维操作收口；算法判断后果将以信息流的形式传递，从而实现每一条报警的全链路可追踪，打造高性能、高鲁棒性的自动化运维产品。
3、算法介绍
算法团队和业务方协力，通过算法团队开发的算法标注平台对大量机房异样数据进行标注、开掘，对体现出异样的品质曲线依照特色进行分类，并针对每个类型开发了一套特定的辨认计划。**
一旦辨认出异样，算法还将进一步地基于曲线状态等特色计算各厂商重量对总体品质曲线影响的概率，防止因为单个占有量过大的厂商对整体曲线影响较大而造成误判。
同时，算法还会将视线下钻至区域级别，一旦呈现某个区域的用户连贯特定机房品质大面积异样，会触发非凡的告警机制进行后续解决。
机房间链路检测以包的模式探测、以从一个机房登程及达到该机房的所有包的健康状况来示意该机房的衰弱水平。
算法团队开发了异样状态基线来判断机房品质。如果传入、传出机房的包呈现大规模整体异样或小规模大幅度异样，将会叠加异样值；如果齐全安稳则会升高异样值；当异样值冲破零碎基线则会触发报警进而引发主动运维操作。
机房内存检测使用了多种滤波、平滑伎俩，联合业务逻辑寻找内存变动曲线的断点，从断点处进行将来内存容量的预测，辨认将要内存溢出的机器并进行报警告诉。
03 RTSC 场景下的主动运维
1、场景介绍
实时媒体流解决 Real Time Streaming Center（RTSC）是针对实时媒体流进行云端解决并公布到不同平台的服务。能够基于 RTC 媒体流进行解决，构建云端录制、旁路直播、云端合流、云端截图、输出在线媒体流等多种技术场景。
同时可反对内部媒体源输出和解决。RTSC 的推流和云录制等服务次要依赖机器间信息传输的品质与机器自身的品质，如果机器产生故障就会对整个链路上的媒体流服务造成影响。
2、算法介绍
推流服务机器品质异样检测的思路与大网传输品质检测基本一致。业务上推流服务位于大网传输的末端，在数据处理上，筛选出 RTSC 相干的业务场景，将关注对象从发送端转移到接收端，咱们就取得了海量的 RTSC 机房传输品质数据从而反对算法进行异样检测。
云录制服务中波及从网关（Gateway）到边缘节点（Edge）的连贯，而这些链接一旦产生大面积谬误，往往意味着某些网关或边缘节点的机房或机器不可用，如果不及时禁用机房或机器，会影响云录制服务的品质。
云录制服务的品质次要体现在网关到边缘节点的谬误连接数，在业务上有着绝对明确的阈值，能够依照传统的阈值办法来管制报警。但 传统办法因为异样工夫和规模的必然性，可能会呈现无奈及时响应或无奈精确定位谬误源的问题。
算法团队和业务方协力，打造了 RTSC-AIOps 流程。该流程以图算法为外围，联合业务逻辑，可能实现疾速定位异样机房机器，目前曾经齐全接管了云录制边缘节点的禁 / 启用流程，实现了一分钟内疾速发现和解决完异样，准确率达到 95% 以上，节俭了一半以上的人力，无效晋升 RTSC 业务运维效率，保障了业务稳固运行。
04 结语
本文介绍了声网大数据算法团队通过与各个团队严密单干，打造的由 AI 驱动、大数据撑持、业务需要为领导的疾速精准化主动运维服务。
在智能化时代，信息的爆炸式增长导致传统的运维、决策、剖析、服务曾经无奈与环境符合，而算法正是为了解决这些问题而存在的。算法的训练依赖高水平的信息提供者，是一种教训的总结与延长，是“站在上帝视角”纵观全局。
随着算法落地场景的一直减少，声网也会有更多的精力投入到向未知领域的摸索，利用 AI 与人力的相辅相成，为开发者和用户提供更稳固、更高质量的产品和服务。
[1]”Gartner says Algorithmic IT Operations Drives Digital Business”https://www.gartner.com/en/newsroom/press-releases/2017-04-11-gartner-says-algorithmic-it-operations-drives-digital-business
对于 Dev for Dev
Dev for Dev 专栏全称为 Developer for Developer，该专栏是声网与 RTC 开发者社区独特发动的开发者互动翻新实际流动。
透过工程师视角的技术分享、交换碰撞、我的项目共建等多种形式，汇聚开发者的力量，开掘和传递最具价值的技术内容和我的项目，全面开释技术的创造力。