乐趣区

关于云计算:日志服务之数据清洗与入湖

jiezi

简介

本场景将提供日志服务 SLS Project 和对象存储 OSS。通过本教程的操作，您能够应用日志服务接入 NGINX 模仿数据，通过数据加工对数据进行荡涤并归档至 OSS 中进行存储。

云起实验室日志服务体验

（活动期实现有机会参加 100% 中奖）：https://developer.aliyun.com/…

背景常识

本场景次要波及以下云产品和服务：
● 日志服务（SLS）
日志服务 SLS 是云原生观测与剖析平台，为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查问与剖析、可视化、告警、生产与投递等性能，全面晋升您在研发、运维、经营、平安等场景的数字化能力。
● 对象存储 OSS
阿里云对象存储服务（Object Storage Service，简称 OSS）是阿里云提供的海量、平安、低成本、高牢靠的云存储服务。其数据设计持久性不低于 99.999999999%，服务设计可用性不低于 99.99%。具备与平台无关的 RESTful。

接入 NGINX 模仿数据

本步骤将领导您如何应用日志服务接入 NGINX 模仿数据。

  1. 双击关上虚构桌面的Firefox ESR 浏览器。
  2. 在 RAM 用户登录框中单击 下一步 ，并复制粘贴页面左上角的 子用户明码 到用户明码输入框 ，单击 登录。
  3. 复制下方地址，在 Firefox ESR 浏览器关上新页签，粘贴并拜访日志服务控制台。
https://sls.console.aliyun.com/
  1. 在 日志服务控制台 下方的 Project 列表中，抉择 Project 资源所在地区，而后单击 Project 名称。

阐明 ：您能够在 云产品资源 列表中查看 Project 资源所在地区和 Project 名称。

  1. 在日志存储页面左侧，单击 日志库 下的 图标。

  1. 在 创立 Logstore对话框中，输出 Logstore 名称，关上WebTracking 开关，而后单击 确定。

参数阐明：

  • Logstore 名称：输出 target。
  • WebTracking：关上 WebTracking 开关，您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。

  1. 在 创立胜利 对话框中，单击 勾销。

  1. 在日志存储页面左侧，抉择 日志库 >target> 数据接入 > 模仿接入，而后单击 图标。

  1. 在 疾速接入 面板中，单击 NGINX 拜访日志 下的 模仿。

  1. 在 模仿接入 页面，单击 开始导入。

  1. 在 模仿接入 页面，期待大概一分钟，模仿数据生成后，单击 开始应用。

返回如下页面，您能够看到生成的 NGINX 模仿数据。

创立数据加工

本步骤将领导您如何创立数据加工，将 status 字段不为 200 的申请日志存储到指标库中，并查看指标库日志。

  1. 在日志存储页面左侧，单击 日志库 下的 图标。

  1. 在 创立 Logstore对话框中，输出 Logstore 名称，关上WebTracking 开关，而后单击 确定。

阐明：该 Logstore 用来 status 字段不为 200 的申请日志。

参数阐明：

  • Logstore 名称：输出 target-1。
  • WebTracking：关上 WebTracking 开关，您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。

  1. 在 创立胜利 对话框中，单击 勾销。

  1. 在日志存储页面左侧，单击target-1。

  1. 在 谬误 对话框中，单击 确定。

  1. 在 target-1 页签右上方，单击 开启索引。

  1. 在 查问剖析 面板中，关上 全文索引 ，单击 确定。

  1. 在 查问剖析设置 对话框中，单击 确认。

  1. 在 target-1 页签左侧，单击target。

  1. 在 target 页签，单击 数据加工。

  1. 在 target 数据加工页签，输出如下加工语句，单击 保留数据加工。
e_drop(e_search("status:200"))

  1. 在 创立数据加工规定 面板，输出 规定名称 ，单击 增加 ，而后配置 存储指标 ，工夫 范畴 抉择为某工夫，单击 确定。

参数阐明：

  • 规定名称：自定义规定名称，例如 nginx-data-cleaning。
  • 指标名称：存储指标的名称，输出 target-1。
  • 指标 Region：抉择您的 Project 资源所在地区。
  • 指标 Project：抉择您的 Project 名称。
  • 指标库：抉择 target-1。
  • 工夫范畴：抉择某工夫开始。

  1. 在 创立后果 对话框中，单击 确认。

  1. 在 target 页签左侧，单击target-1。

  1. 在 target-1 页签右上方，单击 查问 / 剖析。

返回如下页面，您能够看到在指标库 target- 1 中的日志，只有 status 字段非 200 的日志。

日志投递

本步骤将领导您如何将数据加工后的日志投递到对象存储 OSS。

  1. 在 target-1 页签页面左侧，抉择 日志库 >target-1> 数据处理 > 导出 >OSS（对象存储）。

  1. 在 OSS 投递治理 页签，单击 开启投递。

  1. 在 投递提醒 对话框中，单击 间接投递。

  1. 在 OSS 投递性能 对话框中，参考如下配置，其余配置放弃默认即可，单击 确定。

参数阐明：

  • OSS 投递名称：自定义 OSS 投递名称，例如 test。
  • OSS Bucket：输出 Bucket Name。您能够在 云产品资源 列表中查看到 Bucket Name。

  1. 在 投递提醒 对话框中，单击 确认。

  1. 在 OSS 投递管理器 页签，稍等三分钟并刷新页面，您能够看到如下图页面，示意您已胜利将数据加工后的日志投递到对象存储 OSS。

  1. 复制下方地址，在 Firefox ESR 浏览器关上新页签，粘贴并拜访对象存储 OSS 控制台。
https://oss.console.aliyun.com/overview
  1. 在左侧导航栏中，单击Bucket 列表。

  1. 在 Bucket 列表 页面，找到您的 Bucket 名称，单击Bucket 名称。

返回如下页面，您能够看到您的 Bucket 中有一个文件夹，文件夹中就存储着数据加工后的日志。

退出移动版