乐趣区

在线公开课-教你如何自行搭建一个威胁感知大脑

那么在云上安全备受瞩目的大环境下,云态势感知技术又如何为安全保驾护航呢?在未来又有着怎样的发展趋势呢?为此,京东云产品研发部产品经理梁洋洋,专门为大家解读了云态势感知的进化论。

01 态势感知出现的技术背景

虽然态势感知是近几年新有的安全名词,但对于有安全背景的人来说,态势感知并不陌生,它是跟 SOC(安全操作中心)对标的产品。

在 2010 年之前,安全威胁不是特别多,主要还是集中在网络层面,所以当时的 SOC 产品还是停留在 NOC(网络操作中心)基础架构的阶段。

当时比较出名的产品是 Cisco-MARS 产品,主要是把所有 Cisco 的交换机、路由器、防火墙、IDS、IPS 数据都收集上来,然后放到 MARS 里面来关联分析,形成攻击拓扑图。这就是态势感知最初始化的雏形,也就是把网络层面的安全数据收集到 NOC 的产品当中。在安全技术还未成熟的 2010 年,这个技术足以让人眼前一亮。

由于安全威胁场景不断变化,普通的 NOC 产品无法分析出 APT 攻击,加上安全设备和安全事件的突增,传统的 NOC 已无法满足需求,所以在 2010 年 -2015 年逐步兴起 SIEM/SOC 平台。SIEM 是安全信息和日志管理平台。可以把主机上的安全日志包括登录日志都搜集上来存储到 SIEM 里,对分析攻击场景有很大的帮助。

不过,国内的一些安全厂商对 SOC 输出没有标准,导致搜集的日志格式不统一,后面的关联分析达不到用户需求,最终 80% 的 SOC 的项目都以失败告终。

那么新的态势感知相比 SOC 平台有哪些不同呢?

首先是检测引擎,安全探针要提升自身的检测能力和准确性。主机层面通过在终端安装 EDR 产品或者下一代杀毒软件,进行搜集比较准确和简单关联的日志,利于更好地检测安全威胁。网络层面通过 NTA(全量日志分析产品)来匹配危机情报和沙箱等新技术进行分析。web 层面也会有基于语义分析的 WAF 日志,这样收集对关联分析起到很大作用,达到检测层面的提升。

其次是大数据架构方面的提升。由于现有的 SOC 平台用传统的 MySQL 和 Oracle 来进行关联分析,这种关联分析的技术扩展性相对较差。所以随着大数据技术的发展,搜集的时候用 Flume,存储的时候用 ES,在关联分析的时候用 Spark,达到大数据云架构的改变。

最后是在云上更有优势。可以高度规划实时的采集日志,并且通过 Kafka 这种方式发送到态势感知的安全操作中心,这样在以后的关联分析时就占有了主动权。基于这些因素,才让态势感知产品出现。
随着技术的发展,态势感知会继续往下发展,下一个极端是基于安全运营的 SOC,比上一代的威胁感知 SOC 多了基础日志收集丰富程度。通过智能分析架构来做处理,例如机器学习、图分析等技术。

02 态势感知技术的发展趋势

态势感知首先通过网络层面进行决策,通过搜集了大约十款产品来进行调研分析,发现网络层面的能力主要有核心能力、扩展能力和增强安全运营能力。

态势感知的核心能力包括持续抓包取证、流量 / 威胁可视化、网络入侵检测系统规则匹配、WebIDS 规则匹配。扩展能力主要体现在威胁情报、动态行为检测和机器学习自动检测引擎,机器学习自动检测引擎里面又分为分类分析、聚类分类和 KDE 时序分析。

增强安全运营能力就是对安全实体进行分析,通过分析探针来查看攻击的用户,比如 SOAR、Kill-Chain、UEBR。而态势感知在主机层面上的能力,除了有核心能力、扩展能力和增强安全运营能力外,还具有未知威胁检测能力。

针对于云上,态势感知的核心能力主要是做云工作的负载肩负,包括配置 / 漏洞管理、网络隔离防火墙流量可视化、系统完整性测量认证和监控、应用程序控制、补充性内存和漏洞攻击防护。

扩展能力中的行为监控 HIDS/EDR 能力是云端主机层面防护软件中最重要的,其它还包括静态加密 KMS、HIPS 漏洞屏蔽、欺骗能力和反恶意软件。增强安全运营能力包括工作负载外部的漏洞和配置评估、IAM/MFA、日志管理和监控。未知威胁检测能力需终端集成威胁情报、AI/ 沙箱云查杀。

03 京东云态势感知功能优势

京东云的态势感知产品可帮助用户进行大数据安全分析。最底层是基础数据层,进行 NetFlow 搜集、网络流量、DNS、HTTP/ S 日志收集。第二层是威胁感知层,通过安全的探针检测,包括 DDoS/ 高防、全量日志分析、NIDS、威胁情报匹配、机器学习异常检测、沙箱、主机安全 /EDR 和漏洞扫描 / 蜜罐里的数据都搜集上来。

第三层是关联分析层,包括实时针对性攻击分析、APT 攻击分析、自动化编排研判、精准画像 UEBA 和图分析。针对性攻击是在一分钟之内发现了攻击的关联分析,而 APT 攻击会把攻击时间相对拉长,拉长成一小时或者一天的时间,给黑客足够攻击时间,便于检测黑客攻击的情况。

自动化编排研判是目前比较好的解决方案,由于黑客的攻击手段千奇百怪,只能更细化调度的引擎,细化到每个功能点像积木一样组合在一起,形成关联链。通过关联链更好的去分析、丰富查询关联分析的过程。

而 UEBA 主要是针对云上的数据,以数据层面来进行切入,比如说 OSS、RDS 或用户自建的数据库对它进行监控,包括用户对数据库的访问、对象存储的访问进行分析。底层的(OpenAPI)的访问也都会进行关联分析或机器学习分析。

图分析是在主机层面检测信息、网络信息、用户信息可以用图的方式展现给用户,可以挖掘出攻击的路径,是一种很好的分析手段。

第四层是威胁展示层,主要是通过告警事件、威胁事件、热点事件、安全大坪、自动化攻击溯源给用户展示,降低用户调查取证的时间,提升效率。

通过云上日志可以分析出更有价值的安全威胁以及安全问题。

底层基础网络信息是五元组、DNS、HTTP、LB 信息,在攻击路径的时候可能会通过 NAT 的转换,转换之后便不可查找主机 ID。同时,NAT 数据可用于对资产进行再补齐。通过 VPC Log 获取 VPC 里数据流传输,还可以分析出横向攻击。

在主机基本信息中,通过上传的进程、端口、账号、软件、文件、系统日志,关联出更有价值的信息。比如说异常网络连接、肉鸡行为、可移操作、敏感文件篡改都可以进行分析。安全产品例如 Anti-DDos、WAF、扫描器、HIDS、NIDS、数据库审计、堡垒机都可以上传。有利于分析 DDoS 攻击、Web 漏洞、SQL 注入、病毒木马等。

云产品组件的云产品基线,配置失败可能引起的漏洞;还可以对 OSS 审计日志、RDS 审计日志、OpenAPI 日志的风险访问行为进行分析。还有人员信息中的 VPN、登录日志和权限日志。这些都可以帮助态势感知更好的进行分析。

04 云态势感知技术攻击链分析

攻击链分析分简单规则关联分析和复杂规则关联分析。

云态势感知技术的计算层采用 Spark,这样数据分析产生的警告会随着时间流入到大数据处理引擎(Spark)里,通过 Spark 里的滑动窗口对所有输入的数据流来分析。遭受到暴力破解并成功,第一个从网络的 IDS 会产生警告,接下来会有 EDR 告警,同时安装系统后门。整个操作是连贯的,这便是简单规则关联分析。

那复杂规则关联分析是什么样的呢?首先黑客会使用扫描集群,扫描 RDS 端口进行暴力破解。如果未授权访问上控制云服务器的基础服务器,便会将公钥写入基础服务器,之后就能自动化操作,比如说装一些黑客工具、DDoS 工具或挖矿、勒索工具。

恶意服务器长时间扫描会被威胁情报检测到服务器的 IP 地址,然后态势感知在本地检测的时候会对这些 IP 进行扫描。在扫描暴力破解的时候,利用 NIDS ET 规则来进行检测,接下来会用 Redis 弱口令 / 开启认证,口令是弱口令或者没有开启认证,会产生告警事件。写入 C &C 服务器公钥的时候会使用 sshkey 目录,在动目录的时候会产生一条非法文件篡改的告警事件。

再往后会有反弹 shell,可以对可疑连接或者是失陷主机主机进行检测。在挖矿程序的时候我们会通过云沙箱来进行检测,DDoS 也可以通过肉鸡行为进行检测。这样对用户每一步操作都形成了告警事件,然后把这些告警事件关联在一起。这就是比较复杂的规则和时序分析的过程。

05 云态势感知技术机器学习 & 深度学习分析

异常检测是怎么做的呢?这里以 DGA 检测为例。首先要把外部训练数据导进来,有黑数据和白数据,然后把 DNS 的数据导进来进行特征提取,再往下是用 Spark 训练模型,训练之后会把模型放在集群里面进行检测,这样就形成了 DGA 运行检测的流程。

那么模型做好之后怎么用呢?

首先检测通过两条路,第一条路是 NIDS 的 DNS 流数据,通过程序补齐账号之后发到 Spark 里面进行特征提取匹配,然后进行预测;第二条路是云主机上,比如说自己设定了公网 DNS 解析的话,它发送的数据也是通过 DNS 解析来进行补齐资产来进行实时检测。

通过这两个数据会把 DGA 预测做一下,之后把数据放在实时管理分析引擎中进行分析。分析之后才会把它放到 ES topic 里面,给用户看到最终的分析结果,这样就实现了 DGA 域名检测流程。

图分析技术就是把所有的数据导到图分析,通过图的方式关联出来,再通过图的搜索算法检测出来。例如下面这个真实的入侵案例;

首先通过挖矿进程发现其中有一台服务器(Test-001)已经高负载,查看高负载 CPU 所定义的进程的时候,发现它是一个异常进程,所以进行告警。告警之后会进入到观察列表里,通过某个点找出挖矿进程的程序是怎么运行起来的,又是怎么进到服务器里的。

通过时间推移的方式,通过上下文关联来进行检测,关联之后发现了一条命令行审计规则,也就是通过其中一个可疑进程来下载了挖矿的脚本并且运行了。挖矿脚本的副进程是用户自己创建的一个 Hadoop 的进程,也就是 Yarn 进程。Yarn 进程其实是 Hadoop 未授权访问的 RCE 的漏洞。同时通过扫描器来进行扫描检测这台主机,发现这台主机确实存在 Hadoop RCE 的漏洞,这便是自动化攻击溯源,里面的核心技术就是图分析的技术。

目前京东云态势感知产品的应用场景一个是公有云市场,另一个是专有云市场。
专有云市场所对应的产品有态势感知 JDStack 版本,是内嵌到专有云的云租户来进行检测,它的用户是对于里面每一个租户安全的检测。还有一个是针对于云平台,或者针对与 IDC 传统的安全管理场景提出产品叫态势感知专有云的版本。

点击“京东云”了解京东云态势感知产品


退出移动版