简介：本文重点将围绕监控防护开展，逐层递进地介绍如何在简单的分布式容器化环境中借助可观测性平台，继续监控 K8s 集群，及时发现异常的 API 拜访事件、异样流量、异样配置、异样日志等行为，并且联合正当的告警策略建设更被动的平安进攻体系。
作者 | 徐可甲 (烨陌) 起源 | 阿里开发者公众号云原生架构新危险与需要概述平安危险概述
传统的网络安全架构理念是基于边界的平安架构，企业构建网络安全体系时，首先要做的是寻找平安边界，把网络划分为外网、内网等不同的区域，而后在边界上部署防火墙、入侵检测、WAF 等产品。然而这种网络安全架构是基于内网比外网更平安的假如建设起来，在某种程度上预设了对内网中的人、设施和零碎的信赖，漠视增强内网安全措施。不法分子一旦冲破企业的边界平安防护进入内网，会像进入无人之境，将带来重大的结果。此外，内部人员 100% 平安的假说也是不成立的，咱们能够从《外部威逼老本寰球报告》里看到，不论是外部威逼的数量，还是威逼老本都是呈显著回升的趋势。随着云计算、大数据、物联网、挪动办公等新技术与业务的深度交融，网络安全边界也逐步变得更加含糊，传统边界平安防护理念面临微小挑战。以办公网络安全为例，曾经逐渐从仅反对公司外部网络设备连贯，倒退到应用办公电脑通过 VPN 近程连贯，甚至挪动办公的到来，使得集体手机等集体设施接入变成了可能。在这样的背景下，零信赖架构（Zero Trust Architecture, ZTA）应运而生。它突破传统的认证，即信赖边界防护、动态访问控制、以网络为核心等防护思路，建设起一套以身份为核心，以继续认证、动静访问控制、审计以及监测为链条，以最小化实时受权为外围，以多维信赖算法为根底，认证达末端的动静平安架构。咱们晓得 Kubernetes 在容器编排市场中占据了主导地位，用户基数呈逐年回升的趋势。K8s 提供了弱小的运维部署、弹性伸缩、故障恢复能力，极大地便当了分布式系统的开发和治理，然而随之而来的平安问题却也比较突出。
依据《容器和 Kubernetes 平安态势报告》报告，针对云原生利用的威逼已越来越多，仅有 6% 的人没有经验过与容器或 K8s 相干的安全事件。同时，还指出近 70% 的平安危险都是由人为谬误配置而引发的，此外运行时平安及重大安全漏洞引发的安全事件也是重要的因素。《中国云原生用户调查报告》同样也反对，容器平安问题成为用户利用的最大担心。63% 的用户认为容器平安是紧迫的需要，大量用户反馈网络安全技术施行难度复杂度高，且监控零碎、日志零碎不欠缺，很难进行无效的安全监控。从上述的报告能够看出，K8s 平安问题会散布在整个生命周期的各个阶段。一些常见的平安危险体现为：容器镜像破绽或滥用镜像仓库导致的破绽；容器大量部署导致很难察觉平安问题；K8s 外围组件破绽威逼，多个高危破绽爆出；集群配置不当，甚至一些默认配置有安全隐患；没有明确网络边界，网络隔离性问题；攻击面变大、监控和防护难度大。因而，咱们迫切需要建设一个全方位的平安体系，笼罩整个容器生命周期的各个阶段。构建时：基于平安的镜像仓库、权限最小化的平安镜像构建业务零碎，及时修复已知破绽。部署时：依照 K8s 最佳实际部署，修复谬误配置。运行时：继续监控平安威逼，并及时做出相应。K8s 平安体系
上图为阿里云容器服务 Kubernetes 版给出的平安体系，能够看出构建欠缺的平安体系从下到上须要笼罩基础架构平安、可信软件供应链、运行时平安三个维度。基础架构平安：基于 CIS kubernetes benchmark 领导平安部署；依赖 K8s 的平安体系，建设细粒度的访问控制机制。可信软件供应链：通过镜像扫描发现已知安全漏洞；通过镜像签名保障镜像起源的安全性及不被篡改；通过 DevSecOps 集成，实现平安左移，与开发、测试、运维等品质动作进行深度交融。运行时平安：通过 PodSecurityPolicy 针对容器部署时进行平安校验，无效束缚利用运行时的行为平安；利用运行时的平安配置巡检；继续的无处不在的运行时安全监控机制和异样事件告警告诉机制，保障安全事件的及时发现及解决；选用平安沙箱，提供更强的隔离环境。咱们发现上述平安体系能够跟零信赖策略的“从不信赖、始终验证”的思维相响应的。
K8s 信赖边界为了更好的了解 K8s 零碎的平安危险，接下来咱们从 K8s 内外部网络边界的角度开展剖析。其中，红色曲线局部能够被视为独立边界的子系统。容器镜像：次要波及到的平安攻击点就是镜像仓库和镜像自身。其中，应用了不受信赖的镜像仓库或被篡改的容器镜像会导致恶意代码被执行。K8s 管制立体：波及 K8s 的 API Server、scheduler 和 controller-manager 外围组件等。其中 API Server 为 K8s 零碎管控入口，是重点的攻打对象。另外，外围组件之间调用链的平安也同样重要。K8s 数据立体：波及 Ingress Controller 跟 Service，Ingress 作为外部服务对外裸露的端口，被攻打危险较大。节点上运行时平安：波及 kubelet、kube-proxy 和容器运行时环境，须要防止运行时容器越权或容器逃逸等危险。
K8s 平安攻打起源泛滥，既可能是来自内部的管制立体攻打，也可能是来自内部流量的数据面攻打，甚至可能是来自外部成员的歹意攻打或者误操作等。因而，K8s 攻击面特地广，防护难度大，为了更好的爱护 K8s 平安运行，须要倡议起一套策略防护跟监控防护相结合的防护体系。本文重点将围绕监控防护开展，逐层递进地介绍如何在简单的分布式容器化环境中借助可观测性平台，继续监控 K8s 集群，及时发现异常的 API 拜访事件、异样流量、异样配置、异样日志等行为，并且联合正当的告警策略建设更被动的平安进攻体系。K8s 场景下平安数据采集技术计划平安数据是作为 K8s 安全监控的基本，如果没有数据那就是“巧妇难为无米之炊”，任何高级的监控策略都无从谈起。因而，首先咱们将会介绍 K8s 相干的平安数据源及相干的采集技术。平安数据源 K8s 审计日志在 Kubernetes 中，Api Server 是 K8s 集群资源变更、查问的入口，所有对集群状态的查问和批改都是通过向 Api Server 发送申请，对 Api Server 的申请起源能够分为 4 类：管制面组件，例如 Scheduler，各种 Controller，Api Server 本身。节点上的各种 Agent，例如 Kubelet、Kube-proxy 等。集群的其它服务，例如 Coredns、Ingress-controller、各种第三方的 Operator 等。内部用户，例如运维人员通过 Kubectl。
Kubernetes 审计日志是 Api Server 产生的结构化日志，记录了对 Api Server 的拜访操作（包含工夫、起源、操作后果、发动操作的用户、操作的资源以及申请 / 响应的详细信息等）。通过审计日志，能够追溯对集群状态的变更；理解集群的运行状况；排查异样；发现集群潜在的平安、性能危险等等。包含不限于如下行为：以后 / 历史上集群产生了哪些变更事件。这些变更操作者是谁，是零碎组件还是用户，是哪个零碎组件 / 用户。重要变更事件的具体内容是什么，比方批改了 POD 中的哪个参数。事件的后果是什么，胜利还是失败。操作用户来自哪里，集群内还是集群外。Kubernetes Event 事件（Event）次要是用来记录 K8s 集群内产生的状态变更，大到集群节点异样，小到 Pod 启动、调度胜利等。事件具体记录了集群状态变更产生的工夫、组件、等级（Normal、Warning、Error）、类型、详细信息，通过事件可能晓得利用的部署、调度、运行、进行等整个生命周期，也能通过事件去理解零碎中正在产生的一些异样。K8s 事件存储在 etcd 中，默认状况下只保留 1 个小时，因为 etcd 并不反对一些简单的剖析操作，只提供了非常简单的过滤形式，比方通过 Reason、工夫、类型等。同时这些事件只是被动的存在 etcd 中，并不反对被动推送到其余零碎，通常只能手动的去查看。而实际上咱们对事件的应用需要十分高，比拟典型的场景如下：对系统中的异样事件做实时告警，例如 Failed、Evicted、FailedMount、FailedScheduling 等。通常问题排查可能要去查找历史数据，因而须要去查问更长时间范畴的事件（几天甚至几个月）。事件反对归类统计，例如可能计算事件产生的趋势以及与上一时间段（昨天 / 上周 / 公布前）比照，以便基于统计指标进行判断和决策。反对不同的人员依照各种维度去做过滤、筛选。反对自定义的订阅这些事件去做自定义的监控，以便和公司外部的部署运维平台集成。
默认状况下，Kubernetes 事件只关注容器治理相干的问题，对于硬件、操作系统、容器运行时、依赖零碎（网络、存储等）并不会提供更多的检测能力。NPD（node-problem-detector）作为 Kubernetes 节点诊断的工具，能够将节点的异样转换为 Node 的事件，并推送到 APIServer 中，交由 APIServer 进行事件的对立治理。NPD 反对多种异样查看，例如：根底服务问题：NTP 服务未启动。硬件问题：CPU、内存、磁盘、网卡损坏 Kernel 问题：Kernel hang，文件系统损坏。容器运行时问题：Docker hang，Docker 无奈启动。之后，能够借助开源事件工具 kube-eventer，将集群的事件离线到钉钉、SLS、Kafka 等零碎，并提供不同等级的过滤条件，实现事件的实时采集、定向告警、异步归档。
IngressK8s 中 Ingress 只是一种 API 资源的申明，具体的实现须要装置对应的 Ingress Controller，由 Ingress Controller 接管 Ingress 定义，将流量转发到对应的 Service。目前 Ingress Controller 有十分多种实现，罕用的的是 Nginx Ingress Controller。
日志和监控是所有 Ingress Controller 都会提供的根底性能，日志个别包含拜访日志（Access Log）、管制日志（Controller Log）和谬误日志（Error Log），监控次要从日志以及 Controller 中提取局部 Metric 信息。这些数据中拜访日志的量级最大、信息最多、价值也最高，个别 7 层的拜访日志包含：URL、源 IP、UserAgent、状态码、入流量、出流量、响应工夫等，对于 Ingress Controller 这种转发型的日志，还包含转发的 Service 名、Service 响应工夫等额定信息。从这些信息中，咱们可能剖析出十分多的信息，例如：网站拜访的 PV、UV；拜访的地区散布、设施端散布；网站拜访的谬误比例；后端服务的响应提早；不同 URL 拜访散布。K8s 配置平安
CIS Kubernetes Benchmark 是 CIS 推出的一系列用于构建一个安全可靠的 Kubernetes 集群的平安配置倡议，K8s 使用者能够基于这些标准构建平安的 K8s 集群。然而人工一个个去比对平安配置规定的倡议显然是不适合的，个别会联合一些巡检工具进行。
security-inspector 是一款针对 K8s Workload 配置进行多维度扫描工具，能够在巡检报告中查看巡检扫描后果，包含健康检查、镜像、网络、资源、平安等扫描信息。此外，kube-bench、kube-hunter 等其余开源我的项目也是可选用的 CIS 规定巡检计划。K8s 运行时平安
Falco 是一款云原生运行时平安开源我的项目，用于监控 Kubernetes 上利用的运行时异样流动。Falco 在内核态通过监控文件更改、网络流动、过程表和其余数据是否存在可疑行为，并能够通过可插拔后端发送警报。通过 Falco 可轻松检测以下异样：容器内运行的 Shell 服务器过程产生意外类型的子过程敏感文件读取（如 /etc/shadow）非设施文件写入至 /dev 零碎的规范二进制文件（如 ls）产生出站流量 K8s 平安数据源特点以上咱们列举了一些 K8s 安全监控场景下常见的数据源，而且每种日志特点各异。咱们能够发现安全类数据品种繁多，起源泛滥，格局也不对立。总结下来具备如下特点：平安数据类型蕴含了日志、指标、事件。平安数据可能是来自文件，也有可能来自规范输入或者规范谬误，甚至可能是 Syslog 等标准协议。平安文本数据可能会存在于容器内的文件或者宿主机上的文件。Ingress 拜访日志等波及数据面流量的日志往往会数据量极大。审计日志作为集群平安审计的必备日志，重要性极高，须要长时间跨度存储（等保 2.0 要求至多须要存 180 天），并且不能有采集的失落。为了更全面的采集平安数据，须要具备一个性能弱小、生态反对全面、K8s 原生反对的平安数据采集器。该采集器须要具备以下能力：容器运行时反对的全面性，能够反对 Docker、Containerd 等运行时。K8s 提供了弱小的动静扩缩容能力，但也同时给数据采集带了艰难。因而，采集器须要适应容器动静的特点。有些平安数据是通过 Job 触发的，该类工作具备生命周期短的特点，采集器须要提供短生命周期容器的采集能力。所采集须要具备关联 K8s 上下文的能力，为后续剖析提供便捷。弱小的数据处理能力，能够在不影响性能的前提下实现平安数据的解决需要，为后续剖析场景打下基础。K8s 云上托管服务越来越风行，须要可能反对云上服务的采集场景。K8s 采集技术阿里云 SLS 开源的可观测数据采集器 iLogtail，能够齐全满足上述平安数据的特点及场景要求，并且通过阿里双十一、私有云等泛滥简单场景考验，在平安数据采集畛域也是一个很好的抉择。接下来，咱们重点介绍下 iLogtail 的技术特点及 K8s 下的采集原理。可观测数据采集器 iLogtailiLogtail 的外围定位是可观测数据的采集器，帮忙开发者构建对立的数据采集层，助力可观测平台打造各种下层的利用场景。2022 年 6 月底，阿里云 iLogtail 代码残缺开源，正式公布了残缺性能的 iLogtail 社区版。
iLogtail 外围劣势
轻量级、高性能 iLogtail 主体局部通过 C ++，插件局部 Golang 实现，不论内存还是 CPU 具备人造的性能劣势。iLogtail 也继续针对性的做了很多特定场景的优化，比方针对日志的极简、Json、正则模式采集提供了 C ++ 减速能力，极大晋升了日志采集效率，单核采集流量最高能到百 M /s。超强可靠性 iLogtail 作为阿里团体内重要的可观测数据采集基础设施，多年来始终稳固反对双 11 等大促场景，在应答网络拥塞、流量洪峰、过程重启等方面体现突出。私有云上 iLogtail 也继续反对着各行各业的客户，泛滥简单业务场景对于 iLogtail 的可靠性提供了足够的场景反对。毫秒级延时 iLogtail 实现如此高吞吐的秘诀之一是应用了无锁化事件处理模型。与业界其余开源 Agent 为每个配置调配独立线程 /Goroutine 读取数据不同，iLogtail 数据的读取只配置了一个线程。因为数据读取的瓶颈并不在于计算而是磁盘，单线程足以实现所有配置的事件处理以及数据读取。应用单线程使得 iLogtail 的事件处理和数据读取都能够在无锁环境下运行，数据结构更加轻量化，从而获得了绝对多线程解决更优的性价比。文件采集基于 inotify 与 polling 相结合的发现机制，既借助了 inotify 的低提早与低性能耗费的特点，也通过 polling 的形式兼顾了运行环境的全面性。云原生反对 iLogtail 提供了业务容器实时动静发现能力，并反对通过 K8s 元信息（例如 Label、环境变量等）进行采集过滤。特地是一些短 Job 场景，比方一些机器学习的训练任务，生命周期只有几分钟甚至几十秒，也提供了全面的敌对的反对。部署模式上，也反对 DaemonsSet、Sidecar 等多种模式。为了更原生的 K8s 反对，也提供了 Operator 机制，用户能够通过 CRD 的形式进行采集配置管理。插件化扩大能力上下游生态：通过插件零碎的扩大，目前 iLogtail 曾经反对了泛滥数据源的接入，数据源类型笼罩 Log、Metric、Trace，数据源除了文件的采集，还包含了标准协议的反对，例如 HTTP、Mysql Binlog、Prometheus、Skywalking、syslog 等。数据输入生态也从 SLS 逐渐扩大到 Kafka、gPRC 等，将来也会反对 ClickHouse、ElasticSearch 等。解决能力扩大：iLogtail 采纳 PipeLine 的设计，通过 Input 插件采集到数据，会通过采集配置中设定的 Processor 解决，之后通过 Aggregator 插件打包，最终通过 Flusher 发送到日志存储系统。数据处理环境蕴含数据切分、字段提取、过滤、数据加强等环节，所有插件能够自由组合。此外，针对于正则、Json、分隔符等特定格局，iLogtail 还提供了 C ++ 减速能力。疾速迭代：开发者也能够依据本人的需要，定制开发相应的插件。因为每个插件互相独立，所以开发者只须要依照接口标准开发即可，动手门槛较低。多租户隔离 iLogtail 采纳基于工夫片的采集调度、多级高下水位反馈队列、事件非阻塞解决、流控 / 停采策略以及配置动静更新等多项关键技术，交融实现了兼具隔离性、公平性、可靠性、可控性、性价比五大个性的多租户隔离计划。iLogtail 部署模式作为容器编排畛域的规范，Kubernetes（K8s）利用的场景越来越宽泛，iLogtail 在 K8s 下也提供了齐备的采集能力。在 K8s 场景下，iLogtail 次要罕用的有 3 种工作模式：DaemonSet 形式：在 K8s 的每个 node 上部署一个 iLogtail，由该 iLogtail 采集节点上所有容器的日志到日志零碎。此形式特点是运维简略、资源占用少、反对采集容器的规范输入和文本文件、配置形式灵便，然而在超大集群存在肯定的性能瓶颈。
Sidecar 形式：一个 POD 中随同业务容器运行一个 iLogtail 容器，用于采集该 POD 中业务容器产生的日志。此形式特点是多租户隔离性好、性能好，然而资源占用较多。Deployment 形式：当业务容器用 PVC 挂载日志目录或者须要全局连贯 API Server 获取 K8s 元数据等场景，能够抉择在集群中部署一个单正本的 iLogtail Deployment 进行数据采集。
iLogtail 采集原理自 K8s 问世以来，Docker 运行时始终是支流，然而随着 K8s 将 dockershim 移除，K8s 官网举荐优先选择 Containerd 或 CRI- O 作为容器运行时。Docker 份额目前尽管还是支流然而曾经在呈逐年降落的趋势，Containerd、CRI- O 位置逐年都在疾速回升。因而，从 K8s 反对全面性上，iLogtail 须要反对支流的运行时，目前曾经反对 Docker 和 Containerd 两种容器引擎的数据采集。
K8s 提供了弱小的运维部署、弹性伸缩、故障恢复能力，极大地便当了分布式系统的开发和治理，然而这也带来了可观测数据采集难度的增大。特地是一些短 Job 场景，比方一些机器学习的训练任务，生命周期只有几分钟甚至几秒，如何疾速精确地发现所须要采集的容器至关重要。iLogtail 在 K8s 场景下的采集分为如下几个步骤：容器主动发现与开释：iLogtail 通过拜访位于宿主机上容器运行时（Docker Engine/ContainerD）的 sock 获取容器信息，并通过监听 Docker Event 及增量获取机制，及时感知容器新增与开释。容器上下文信息获取：包含容器层级信息，例如容器名、ID、挂载点、环境变量、Label；以及 K8s 层级信息，例如 Pod、命名空间、Labels。容器过滤及隔离性：基于容器上下文信息，提供采集容器过滤能力，能够将不同采集配置利用到不同的采集容器上，既能够保障采集的隔离性，也能够缩小不必要的资源节约。元信息关联：基于容器上下文信息和容器环境变量，提供在日志中富化 K8s 元信息的能力。采集门路发现：依据容器元信息自动识别不同运行时的规范输入格局和日志门路；对于 overlay、overlay2 的存储驱动，能够依据日志类型及容器运行时主动拼接出采集门路，简略高效。此外，对于 CICD 自动化部署和运维水平要求较高的用户，iLogtail 还提供了 K8s 原生反对，反对通过 CRD 的形式进行采集配置管理。目前该性能仅企业版可用，后续会逐渐开源。该计划中，iLogtail K8s 新增了一个 CustomResourceDefinition 扩大，名为 AliyunLogConfig。同时开发了 alibaba-log-controller 用于监听 AliyunLogConfig 事件并主动创立 iLogtail 的采集配置，进而实现日志采集工作。
平安数据监测与响应最佳实际对立存储剖析引擎平安数据监控一个重要的能力就是对采集到的数据，进行实时的合规监控剖析，反对对历史数据的合规审计，对来自内部的威逼和外部的违规进行审计剖析。理论平安剖析场景往往会面临泛滥艰难：平安威逼往往是一个逐渐的过程，可能须要几个月或更长的工夫才会真正裸露进去。因而，须要提供低成本的存储能力，及弱小的长时间跨度数据分析能力。平安数据起源泛滥，格局不对立，日志、时序数据都可能波及。有些平安威逼隐蔽性较强，须要多种数据的联动剖析能力发现。因而，须要具备弱小的关联剖析能力。为此，咱们设计了一套对立的可观测数据存储剖析引擎。将日志、指标、Meta 等数据全副接入到对立的存储中，在一些等保场景能够通过开启智能冷热分层存储，升高不沉闷数据的存储老本。之后，咱们构建了一套对立的查问剖析引擎，该引擎以 SQL 为根底，扩大了关键词查问、PromQL 语法能力及机器学习算子能力，可不便撑持查问剖析、可视化、监控告警、AI 等下层利用场景。同时，SQL 作为顶层语言，能够起到串联日志、时序、ML 模型、CMDB、内部 DB 的能力，使得大规模多数据关联剖析成为可能。
能够认为，SLS SQL = Search + SQL92（Agg，WIndow，GroupBy…）+ PromQL + … 以下就是一个比拟典型的剖析的例子：咱们能够通过规范 SQL 语句对日志进行剖析。还能够通过 PromQL 扩大的 SQL 函数对指标数据进行剖析。还能够通过嵌套查问，对指标数据的剖析后果进行再聚合。此外还能够再通过机器学习函数，给查问和剖析赋予 AI 的能力。尽管不同阶段的数据产生自不同的零碎，也有着不同的格局，然而因为它们的存储和剖析是统一的，咱们能够十分轻松地实现对立的平安态势及安全事件监控。
智能巡检
Ingress 拜访日志产生量极大，而且与日俱增后会造成大量数据存储，会造成存储老本的急剧回升，并且在长时间跨度查问剖析场景下也会效率极低。为了达到高性能、低成本、疾速、智能等要求，咱们对 Ingress 这种超大数据量的计划进行了架构降级。原始拜访日志存储：当 Ingress Controller 产生拜访申请后，会实时将申请的拜访日志推送到用户本身的日志库中，SLS 的 Logstore 具备高牢靠、实时索引、主动扩容等性能，保障日志的可靠性和可扩展性。预聚和：因为原始拜访日志量微小，基于原始日志计算指标性能开销较大，因而咱们专门推出了基于拜访日志的指标预聚和能力，可能将上百万甚至上亿的拜访日志实时聚合成指标类型的时序数据，数据量会升高 1 - 2 个数量级，后续的剖析与监控可间接基于时序数据进行，大大提高效率。智能巡检：对于预聚和后的 Metrics（指标数据），咱们提供了基于机器学习的智能巡检性能，帮忙用户主动去检测 Ingress 的各个维度的指标异样，将异样信息实时展示在时序的图表中，联合实时告警能力及时告诉给用户解决。此外后续还会反对异样打标，基于用户反馈的信息进行更加准确的检测。通过以上 3 层数据链路，实现了从原始拜访日志到预聚和的指标最初再到机器学习的异样事件整个数据的流转，对于用户来说，告警和监控只须要基于指标和智能巡检的后果进行，而波及到具体服务的问题剖析能够再回到原始的拜访日志并基于对立查问剖析引擎进行自定义的排查和剖析。老本高、查问效率低：对于日志量极大场景，特地如果再加上长时间跨度的因素，会造成存储老本的急剧回升，查问效率往往也很低。效率低：对于异样现场的定位，须要人工配置各种各样的规定去进行异样的捕捉。时效差：大部分时序数据具备时效性特色。故障、变更都会引起对应指标状态的变动，前一种规定条件下的异样可能在下一时刻是失常状态。配置难：时序数据形态各异。有突刺变动、折点变动、周期变动等诸多状态，阈值范畴也各有不同。对于简单状态下的异样，规定往往难以配置。成果差：数据流一直动态变化，业务状态突飞猛进，固定的规定办法很难在新的业态下起作用，从而产生大量的误报或者漏报。对于异样的水平，不同场景，不同用户，对其容忍的水平不同。在排查问题中，无效异样点捕获的越多，有助于具体问题的排查；而在告警告诉中，高危异样点越少，越有助于晋升告警解决的效率。针对以上问题，咱们推出智能巡检性能，通过自研的人工智能算法，对指标、日志等流数据进行一站式整合、巡检与告警。应用智能巡检性能后，只须要组织一下具体的监控项，算法模型就会主动实现异样检测、业态自适应、告警精密。平安态势咱们提供了平安态势大盘，帮忙用户全局理解安全事件、平安态势，便于进行告警链路查看及排错应用。此外，报表还可自在扩大。例如审计日志、Ingress 核心等大盘，能够分明的展示 K8s 集群的管制面、数据面拜访状况，包含统计、趋势、地区等；事件核心能够展示集群内的一些异样流动，例如 POD OOM、节点重启等。
告警与 On-Call 机制通过上文提到的对立的数据采集能力、对立的存储及查问剖析能力，咱们能够做到对平安威逼的根本探测能力。然而要构建齐备的监控体系，接下来就要解决如何继续监控的问题。为此，咱们开发了一套一站式智能运维告警零碎。它提供对日志、时序等各类数据的告警监控，告警模版化扩大能力，亦可承受三方告警，对告警进行降噪、事件治理、告诉治理等。咱们也针对 K8s 下一些典型平安场景的历史教训，提供了泛滥内置告警规定，开箱即用并继续减少中。这些规定库有笼罩了 CIS 和平安场景的最佳实际，用户仅需开启对应规定，即可享受到全天候的平安保障。
当告警规定探测到异样产生时，须要尽快的将威逼事件告诉给相应的开发人员。咱们对接了丰盛的告诉渠道，便于威逼事件的全方位触达。多渠道：反对短信、语音、邮件、钉钉、企业微信、飞书、Slack 等多种告诉渠道，同时还反对通过自定义 Webhook 进行扩大。同一个告警，反对同时通过多个渠道、每个渠道应用不同的告诉内容进行发送。例如通过语音和钉钉来进行告警告诉，既能够保障触达强度，又能够保障告诉内容的丰盛水平。动静告诉：能够依据告警属性动静分派告诉。例如：测试环境的告警，通过短信告诉到张三，并且只在工作工夫告诉；而生产环境的告警，通过电话告诉到张三和李四，并且无论何时，都要进行告诉。告诉降级：长时间未解决的告警要进行降级。例如某告警触发后，通过短信告诉到了某员工，然而该问题长时间未被解决，导致告警始终没有复原，此时须要告诉降级，通过语音的形式告诉到该员工的领导。
安全事件产生后，如果不及时处理或不慎脱漏都会造成更大的平安危险扩大。因而，肯定要建设齐备的反馈机制，将平安问题解决造成闭环。基于这个问题，咱们提供了安全事件管理中心，便于用户全局查看安全事件，并进行相应的治理动作。当开发或平安人员接管到平安告警事件告诉后，能够登陆安全事件管理中心进行事件的确认、解决人的指派、解决动作记录等操作。基于云原生可观测平台构建 K8s 下的 SecOps 能力综上，咱们能够基于阿里云 SLS 搭建一个性能齐备的 K8s 安全监控体系。整体分为四个档次：数据采集层：次要提供平安数据接入能力。其中以 iLogtail 为最次要的数据采集形式（反对前置的数据处理能力），并且同时反对 API 形式，兼容泛滥标准协议，例如 OpenTelemetry、Prometheus、Syslog、Kafka 等。对立存储剖析层：提供了针对 Logs、Metric、Trace、安全事件、Topo 等多种数据的存储层，并且在此基础上提供了对立的数据关联剖析能力。对于不规则数据，提供了数据加工能力。智能服务：基于智能告警服务，能够实现平安场景的继续监控及告诉响应能力；智能算法服务提供了智能巡检性能能够扩大智能巡检、剖析的能力。下层利用：基于上述三层能够打造属于用户本人的 SecOps 利用。当然对于 ITOps、DevOps、BussinessOPS 也是不错的抉择。
K8s 安全监控体系展望未来已来，K8s 安全监控体系将来将朝着生态化、轻量化、智能化、一体化的方向持续倒退，为企业平安保驾护航。
iLogtail 已开源，欢送应用及共建 iLogtail 作为阿里云 SLS 提供的可观测数据采集器，能够运行在服务器、容器、K8s、嵌入式等多种环境，反对采集数百种可观测数据（日志、监控、Trace、事件等），曾经有千万级的装置量。目前，iLogtail 已正式开源，欢送应用及参加共建。GitHub: https://github.com/alibaba/il… 社区版文档：https://ilogtail.gitbook.io/i… 企业版官网：https://help.aliyun.com/docum… 参考：最全 Kubernetes 审计日志计划：https://developer.aliyun.com/… 可察看性：全方位事件监控：https://developer.aliyun.com/… 零信赖策略下云上平安信息与事件治理最佳实际：https://developer.aliyun.com/… 阿里可观测性数据引擎的技术实际：https://developer.aliyun.com/… 阿里 PB 级 Kubernetes 日志平台建设实际：https://developer.aliyun.com/… 平安危险以及 29 个最佳实际：https://mp.weixin.qq.com/s/aM… 举荐浏览 1. 代码圈复杂度治理小结 2. 如何写出无效的单元测试 3. java 利用提速(速度与激情) 深入浅出 Kubernetes 本书作者是阿里云技术专家。多年操作系统和图形显卡驱动调试和开发教训。目前专一云原生畛域，容器集群和服务网格。《深入浅出 Kubernetes》分为实践篇和实际篇，12 篇技术文章帮你理解集群管制、集群伸缩原理、镜像拉取等实践，一次搞懂 6 个外围原理吃透基础理论，实现从根底概念的精确了解到上手实操的精准纯熟，深入浅出应用 Kubernetes！点击这里，查看详情。原文链接：https://click.aliyun.com/m/10… 本文为阿里云原创内容，未经容许不得转载。