简介:网络诊断利器SreCli-Net
1.背景
SRE运维团队致力于通过自动化来进步运维的工作生产效率,推动向智能化运维方向迭代转变,解决传统运维的痛点。传统运维虽具备残缺的运维体系,但运维形式各异,运维操作简单,耗时长。如何进步混合云我的项目的运维效率,进步运维附加值和客户满意度,仍是咱们的攻坚难题。
次要需面对以下几点挑战:
- 客户业务的疾速倒退与演进,传统运维滞后性被拉大
随着客户业务的倒退和业务模式的一直演进,业务数据量也在逐年减少。给运维带来了更多机会与挑战,如何保障云内数据、云内外业务交互的稳固、平安、高效运行,是运维人员值得思考的问题。
- 平台各零碎运行简单,运维学习老本进步
随着云平台云产品版本的疾速迭代,相熟平台难度加大,随着云产品版本更迭和新性能的呈现,老手学习的老本进步,相熟云平台的各种运维操作难度加大。但不能从根本上解决疾速赋能运维能力的问题。所有所有将会引发一连串的“蝴蝶效应”,甚至引发我的项目高风险或P级故障呈现,将会间接影响客户云上业务的失常应用。
- 运维人员能力参差不齐,运维操作简单
目前运维形式存在人工教训判断、平台各种手工操作、解决问题低效、故障应急解决耗时长等次要问题。因为零碎的复杂性,技术人员在操作平台运维时,会节约大量的工夫在机器登入、工具应用等根底问题领导上。登录之后又面临各种增删改查操作指令的不对立。随着运维长时间的耗费,也会引起现场运维人员的心神俱疲,无奈专一线上操作。尤其是面对一些没有教训的驻场或客户,经常会呈现找不到指标机器,命令敲错等景象,使得整体运维低效和安全隐患频发。
综合以上对于客户、平台、运维三方面的运维问题, 进步运维效率、升高运维人员学习老本是以后的次要工作。在此大背景下,推出了SRE-CLI工具,该工具是一款反对shell性能、命令补全、问题诊断、故障止血等性能的srecli工具,逐渐解决和欠缺以后的问题现状。
2.SRE-CLI根本介绍
SRE Command Line Interface (SRE CLI) 是一种运维工具,让您可能在命令行Shell 中应用命令对混合云进行运维操作。仅需起码的配置,即可应用 SRE CLI 运行命令,以便从终端程序中的命令提示符实现日常运维过程中简单的命令。基于SRE 在日常工作中的问题解决、故障应急积淀的“老中医”的教训,并通过命令行工具的形式集成在混合云中,无需配置,即可运行SRE CLI,通过简略命令,实现日常运维过程中简单操作。
CLI交互能力模型,次要是由拜访层、交互层、后端、基础设施四个局部组成。首先终端用户通过登录SRECLI后,进入交互层界面,通过抉择相应的场景指令和辅助性能实现指定的动作,该动作会调用后端的各工具能力,以及数据源中数据,通过基础设施层进行计算,计算诊断的后果将间接输入至终端CLI黑屏界面上,实现一整个交互流程,如下图所示。
图1
- 问题诊断(ali\_diag)
从服务单、工单、故障单中提炼高频操作,将罕用操作、问题&故障点工具化成原子项。通过日常运维查问产品原子项,问题点、故障点、疾速查问要害指标定位问题点。
图2
- 场景诊断(ali\_scene)
以故障场景积淀出一系列排查思路,以“三板斧”模式输入,精确定位问题所在。在此基础上进行故障点组装、故障精确定位。
图3
- 应急止血(ali\_cure)
实在故障和危险止血复原伎俩积淀,产生并解决方案确定后,须要疾速复原,复原动作包含重启、降级、限流、切换等。帮忙客户业务疾速复原。
- 日常查问(ali\_query)
日常查问、关联数据展现、罕用信息获取,通过准确的查问形式,查问云内IP地址定位对应的产品、路由、容量、策略等信息。目前笼罩物理网络的各类IP维度查问。
- 智能抓流(ali\_trace)
满足CLI在云平台内各点抓包的能力,通过定制化的抓包组合命令,疾速落在抓包点,进行指定的进或出方向的网络流量抓包。笼罩经典网络类型抓包、VPC网络类型抓包两种。
3.Cli-Net概念
Cli-Net是CLI体系中的一个分支性能,次要负责解决混合云内物理网络方向的诊断排查,通过对立格局的指令,在物理网络环境中进行具体方面的排查诊断。Cli-Net次要笼罩混合云物理网络四大方面,包含云内通用网络设备性能诊断、云边界网络状态诊断、云内网络状态诊断、物理机网络状态诊断。波及云内所有产品物理机和交换机网络运行状态,以及互联网、云外IDC网络等云外网络拜访云内网络的排查诊断,具体诊断笼罩如下表所示。
<span class="lake-fontsize-10"><span>Cli-Net</span></span><span class="lake-fontsize-10"><span>诊断笼罩</span></span> | <span class="lake-fontsize-10"><span>通用网络设备性能诊断</span></span> | <span class="lake-fontsize-10"><span>云边界网络状态诊断</span></span> | <span class="lake-fontsize-10"><span>云内网络状态诊断</span></span> | <span class="lake-fontsize-10"><span>物理机网络状态诊断</span></span> |
<span class="lake-fontsize-10">ISW</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10"> </span> |
<span class="lake-fontsize-10">DSW</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10">●</span> |
<span class="lake-fontsize-10">CSW</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10"> </span> |
<span class="lake-fontsize-10">LSW</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10">●</span> |
<span class="lake-fontsize-10">ASW</span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10">●</span> | <span class="lake-fontsize-10">●</span> |
<span class="lake-fontsize-10"> </span> | <span class="lake-fontsize-10">input</span> | <span class="lake-fontsize-10">input</span> | <span class="lake-fontsize-10">input</span> | <span class="lake-fontsize-10">input</span> |
<span>中文名称</span> | <span>Cli</span><span>英文名称</span> | <span>含意</span> |
<span>单机自检性能</span> | <span>device_check</span> | <span>查看每台交换机自身的衰弱状态,蕴含硬件、接口、路由、连通性,去判断输入网络设备自身的异样我的项目。</span> |
<span>外围网络方向诊断</span> | <span>core-network</span> | <span>通过查看波及所有云内物理服务器路由通路、互联线路、路由状态的整体或指定具体物理机去判断输入网络异样项。</span> |
<span>专线方向诊断</span> | <span>Private direction</span> | <span>通过检查用户IDC与云内VPC网络(含所有实例级资源)间波及到的物理网络整体情况去判断输入网络异样项。</span> |
<span>公网方向诊断</span> | <span>Internet Direction</span> | <span>通过查看互联网与云内VPC网络(含所有实例级资源)间的波及到的物理网络整体情况去判断输入网络异样项。</span> |
<span>物理虚构方向诊断</span> | <span>physics virtual</span> | <span>通过查看VPC网络(含所有实例级资源)与经典网络(蕴含所有云服务资源)之间的物理整体情况去判断输入网络异样项。</span> |
<span>利用场景</span> | <span>排查指令</span> | <span>指令后果</span> |
<span>机房整体掉电</span> | <span>ali_diag network ping project </span><span>{product name}</span> | <span>查看云内各集群物理机连通性是否失常</span> |
<span>ali_diag network ping switch</span><span>{name}</span> | <span>查看云内交换机连通性是否失常</span> | |
<span>ali_diag network hardware power </span><span>{switch}</span> | <span>查看各交换机电源运行状态是否失常</span> | |
<span>ali_diag network route bgp </span><span>{switch}</span> | <span>交换机bpg路由协定状态查看</span> | |
<span>ali_scene network device_check</span> | <span>交换机硬件自检</span> | |
<span>ECS</span><span>访云外不通</span> | <span>ali_scene network internet_direction</span> | <span>查看公网方向网络问题</span> |
<span>ali_scene network private_direction</span> | <span>查看专线方向链路问题</span> | |
<span>base</span><span>拜访vpc内数据源失败</span> | <span>ali_scene network core_network</span> | <span>设施网络连通性查看</span> |
<span>ali_scene network physics_virtual</span> | <span>综合接入区网络查看</span> | |
<span>物理机故障后上线</span> | <span>ali_scene network core_network</span> | <span>物理机所在网络查看</span> |
<span>ali_diag network route bgp </span><span>{switch}</span> | <span>云内bgp网络状态查看</span> |