关于云计算:日志服务之数据清洗与入湖

3次阅读

共计 2293 个字符,预计需要花费 6 分钟才能阅读完成。

简介

本场景将提供日志服务 SLS Project 和对象存储 OSS。通过本教程的操作,您能够应用日志服务接入 NGINX 模仿数据,通过数据加工对数据进行荡涤并归档至 OSS 中进行存储。

云起实验室日志服务体验

(活动期实现有机会参加 100% 中奖):https://developer.aliyun.com/…

背景常识

本场景次要波及以下云产品和服务:
● 日志服务(SLS)
日志服务 SLS 是云原生观测与剖析平台,为 Log、Metric、Trace 等数据提供大规模、低成本、实时的平台化服务。日志服务一站式提供数据采集、加工、查问与剖析、可视化、告警、生产与投递等性能,全面晋升您在研发、运维、经营、平安等场景的数字化能力。
● 对象存储 OSS
阿里云对象存储服务(Object Storage Service,简称 OSS)是阿里云提供的海量、平安、低成本、高牢靠的云存储服务。其数据设计持久性不低于 99.999999999%,服务设计可用性不低于 99.99%。具备与平台无关的 RESTful。

接入 NGINX 模仿数据

本步骤将领导您如何应用日志服务接入 NGINX 模仿数据。

  1. 双击关上虚构桌面的Firefox ESR 浏览器
  2. 在 RAM 用户登录框中单击 下一步 ,并复制粘贴页面左上角的 子用户明码 用户明码输入框 ,单击 登录
  3. 复制下方地址,在 Firefox ESR 浏览器关上新页签,粘贴并拜访日志服务控制台。
https://sls.console.aliyun.com/
  1. 日志服务控制台 下方的 Project 列表中,抉择 Project 资源所在地区,而后单击 Project 名称。

阐明 :您能够在 云产品资源 列表中查看 Project 资源所在地区和 Project 名称。

  1. 在日志存储页面左侧,单击 日志库 下的 图标。

  1. 创立 Logstore对话框中,输出 Logstore 名称,关上WebTracking 开关,而后单击 确定

参数阐明:

  • Logstore 名称:输出 target。
  • WebTracking:关上 WebTracking 开关,您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。

  1. 创立胜利 对话框中,单击 勾销

  1. 在日志存储页面左侧,抉择 日志库 >target> 数据接入 > 模仿接入,而后单击 图标。

  1. 疾速接入 面板中,单击 NGINX 拜访日志 下的 模仿

  1. 模仿接入 页面,单击 开始导入

  1. 模仿接入 页面,期待大概一分钟,模仿数据生成后,单击 开始应用

返回如下页面,您能够看到生成的 NGINX 模仿数据。

创立数据加工

本步骤将领导您如何创立数据加工,将 status 字段不为 200 的申请日志存储到指标库中,并查看指标库日志。

  1. 在日志存储页面左侧,单击 日志库 下的 图标。

  1. 创立 Logstore对话框中,输出 Logstore 名称,关上WebTracking 开关,而后单击 确定

阐明:该 Logstore 用来 status 字段不为 200 的申请日志。

参数阐明:

  • Logstore 名称:输出 target-1。
  • WebTracking:关上 WebTracking 开关,您能够通过 WebTracking 从 HTML、H5、iOS 或 Android 上采集数据到日志服务。

  1. 创立胜利 对话框中,单击 勾销

  1. 在日志存储页面左侧,单击target-1

  1. 谬误 对话框中,单击 确定

  1. target-1 页签右上方,单击 开启索引

  1. 查问剖析 面板中,关上 全文索引 ,单击 确定

  1. 查问剖析设置 对话框中,单击 确认

  1. target-1 页签左侧,单击target

  1. target 页签,单击 数据加工

  1. target 数据加工页签,输出如下加工语句,单击 保留数据加工
e_drop(e_search("status:200"))

  1. 创立数据加工规定 面板,输出 规定名称 ,单击 增加 ,而后配置 存储指标 ,工夫 范畴 抉择为某工夫,单击 确定

参数阐明:

  • 规定名称:自定义规定名称,例如 nginx-data-cleaning。
  • 指标名称:存储指标的名称,输出 target-1。
  • 指标 Region:抉择您的 Project 资源所在地区。
  • 指标 Project:抉择您的 Project 名称。
  • 指标库:抉择 target-1。
  • 工夫范畴:抉择某工夫开始。

  1. 创立后果 对话框中,单击 确认

  1. target 页签左侧,单击target-1

  1. target-1 页签右上方,单击 查问 / 剖析

返回如下页面,您能够看到在指标库 target- 1 中的日志,只有 status 字段非 200 的日志。

日志投递

本步骤将领导您如何将数据加工后的日志投递到对象存储 OSS。

  1. target-1 页签页面左侧,抉择 日志库 >target-1> 数据处理 > 导出 >OSS(对象存储)

  1. OSS 投递治理 页签,单击 开启投递

  1. 投递提醒 对话框中,单击 间接投递

  1. OSS 投递性能 对话框中,参考如下配置,其余配置放弃默认即可,单击 确定

参数阐明:

  • OSS 投递名称:自定义 OSS 投递名称,例如 test。
  • OSS Bucket:输出 Bucket Name。您能够在 云产品资源 列表中查看到 Bucket Name。

  1. 投递提醒 对话框中,单击 确认

  1. OSS 投递管理器 页签,稍等三分钟并刷新页面,您能够看到如下图页面,示意您已胜利将数据加工后的日志投递到对象存储 OSS。

  1. 复制下方地址,在 Firefox ESR 浏览器关上新页签,粘贴并拜访对象存储 OSS 控制台。
https://oss.console.aliyun.com/overview
  1. 在左侧导航栏中,单击Bucket 列表

  1. Bucket 列表 页面,找到您的 Bucket 名称,单击Bucket 名称

返回如下页面,您能够看到您的 Bucket 中有一个文件夹,文件夹中就存储着数据加工后的日志。

正文完
 0