简介
场景将提供日志服务以及 SLS Project。通过本教程的操作,您能够应用日志服务 SLS 创立模仿数据工作(NGINX 拜访日志),并对数据进行脱敏和审计。
云起实验室日志服务体验
(活动期实现有机会参加 100% 中奖):https://developer.aliyun.com/…
背景常识
本场景次要波及以下云产品和服务:
● 日志服务:
日志服务 SLS 是云原生观测与剖析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查问与剖析、可视化、告警、生产与投递等性能,全面晋升您在研发、运维、经营、平安等场景的数字化能力。
创立原始数据
本步骤将领导您如何创立 NGINX 模仿数据。
- 双击关上虚构桌面的Firefox ESR 浏览器。
- 在 RAM 用户登录框中单击 下一步 ,并复制粘贴页面左上角的 子用户明码 到用户明码输入框 ,单击 登录。
- 复制下方地址,在 Firefox ESR 浏览器关上新页签,粘贴并拜访日志服务控制台。
https://sls.console.aliyun.com/
- 在 日志服务控制台 下方的 Project 列表中,抉择 Project 资源所在地区,而后单击 Project 名称。
阐明 :您能够在 云产品资源 列表中查看 Project 资源所在地区和 Project 名称。
- 在日志存储页面左侧,单击 日志库 下的 图标。
- 在 创立 Logstore对话框中,输出 Logstore 名称,关上WebTracking 开关,而后单击 确定。
参数阐明:
- Logstore 名称:输出 nginx-access-log。
- WebTracking:关上 WebTracking 开关,您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。
- 在 创立胜利 对话框中,单击 勾销。
- 在日志存储页面左侧,抉择 日志库 > 您的 Logstore> 数据接入 > 模仿接入,而后单击 图标。
- 在 疾速接入 面板中,单击 NGINX 拜访日志 下的 模仿。
- 在 模仿接入 页面,单击 开始导入。
- 在 模仿接入 页面,期待大概一分钟,模仿数据生成后,单击 开始应用。
返回如下页面,您能够看到生成的 NGINX 模仿数据,数据中的客户端 IP 字段 remote_addr 和访问者用户名字段 remote_user 没有脱敏,信息安全隐患十分大。
数据脱敏
本步骤将领导您如何创立数据加工工作,对原数据进行脱敏。
- 在日志存储页面左侧,单击 日志库 下的 图标。
- 在 创立 Logstore对话框中,输出 Logstore 名称,关上WebTracking 开关,而后单击 确定。
阐明:该 Logstore 用来存储脱敏后的数据。
参数阐明:
- Logstore 名称:输出 nginx-access-log-fmt。
- WebTracking:关上 WebTracking 开关,您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。
- 在 创立胜利 对话框中,单击 勾销。
- 在日志存储页面左侧,单击nginx-access-log-fmt。
- 在 谬误 对话框中,单击 确定。
- 在 nginx-access-log-fmt 页签右上方,单击 开启索引。
- 在 查问剖析 面板中,关上 全文索引 ,单击 确定。
- 在 查问剖析设置 对话框中,单击 确认。
- 在 nginx-access-log-fmt 页签左侧,单击nginx-access-log。
- 在 nginx-access-log 页签,单击 数据加工。
- 在 nginx-access-log 数据加工页签,输出如下加工语句,单击 保留数据加工。
e_set("remote_addr", regex_replace(v("remote_addr"), grok("(%{IP})"), replace=r"*.*.*.*"))
e_set("remote_user", regex_replace(v("remote_user"), r"(\S)\S+", replace=r"\1****"))
- 在 创立数据加工规定 面板,输出 规定名称 ,单击 增加 ,而后配置 存储指标 ,工夫 范畴 抉择为所有,单击 确定。
参数阐明:
- 规定名称:自定义规定名称,例如 mask-sensitive-info。
- 指标名称:存储指标的名称,输出 nginx-access-log-fmt。
- 指标 Region:抉择您的 Project 资源所在地区。
- 指标 Project:抉择您的 Project 名称。
- 指标库:抉择 nginx-access-log-fmt。
- 工夫范畴:抉择所有。
- 在 创立后果 对话框中,单击 确认。
- 在 nginx-access-log 页签左侧,单击nginx-access-log-fmt。
- 在 nginx-access-log-fmt 页签右上方,单击 查问 / 剖析。
返回如下页面,您能够看到 NGINX 模仿数据中的客户端 IP 字段 remote_addr 和访问者用户名字段 remote_user 曾经脱敏。
查看数据加工工作及开启监控告警
本步骤将领导您如何查看数据加工工作及开启监控告警。
- 在日志存储页面左侧,抉择 日志库 >nginx-access-log> 数据处理 > 加工 > 您的数据加工工作(例如下图的 mask-sensitive-info)。
返回如下页签,您能够看到数据加工工作详情和执行状态。
- 在数据 加工概览 页签的 执行状态 区域,单击 开启监控。
- 在 告警核心 页签,抉择所有 监控规定 ,单击 开启。
- 在 提醒 对话框中,单击 确定。
返回如下页面,当状态为已开启时,示意您已胜利开启监控,日志服务会在数据加工存在异样时,为您发送告警告诉,便于您疾速发现数据加工过程中的异样问题。