关于数据采集:云原生架构下日志服务数据预处理

简介：本篇实际将以某家国内教育机构为例，为大家具体介绍云原生架构下日志服务数据预处理以及对应的解决方案和最佳实际操作手册，不便用户疾速对号入座，解决云原生架构下的常见日志难题。

中转最佳实际：【https://bp.aliyun.com/detail/207】
观看视频：【https://yqh.aliyun.com/live/detail/23950】
阿里云最佳实际目前已笼罩 23 类罕用场景，有 200 多篇最佳实际，这其中波及 110 款以上阿里云产品的最佳应用场景。目前，最佳实际已胜利帮忙大量客户实现自助上云。

分享人

• 解决方案架构师 - 七凌
• 日志服务产品经理 - 谷奈

本篇实际将从 3 个局部为大家介绍云原生架构下日志服务数据预处理，心愿能够让大家对其有更深刻的理解，并能够将其利用到我的项目中，达到降本提效的目标。本文次要内容分为以下三个方面：

• 最佳实际计划解说
• 外围产品能力介绍
• 基于场景的 demo 演示

一、最佳实际计划解说

1. 云原生下的数据加工

云原生的定义各种各样，有来自 CNCF 社区的“微服务 + 容器 + 继续交付 +DevOps”，也有来自不同云厂商的说法“生于云，长于云”。比方咱们经常听到的云原生数据库、云原生大数据、云原生容器、云原生中间件、云原生平安等等概念，这都是在云上能够获取到的服务化云原生产品，是传统线下没有的服务，可能在线上获取极致的弹性。这里，咱们提到的数据加工，它是阿里云提供的云原生日志服务 SLS 所具备的能力之一。我置信大家都十分相熟日志服务的数据存储、数据查问能力，而对于它提供的数据加工和告警告诉，可能不太理解。SLS 内置的数据加工能力，可能将各类日志解决为结构化数据，具备全托管、实时、高吞吐的特点。它面向日志剖析畛域，提供十分丰盛的算子、反对开箱即用的场景化 UDF（比方 Syslog、非标准 json、accessLog 解析等等）。同时与阿里云的大数据产品（OSS、MC、EMR、ADB 等）以及开源生态 (Flink、Spark) 进行了深度集成，升高了数据分析的门槛。

2. 云原生数据加工的典型能力

下图所示为数据加工服务的几个典型能力，包含数据复制、过滤、转换，富化、补漏、决裂等。整体优势简略来说能够演绎为以下四点：

• 开箱即用，免运维
• 凋谢灵便，反对 200+DSL
• 稳固牢靠
• 能做到秒级提早

3. 云原生数据加工的典型利用场景

以向寰球提供分布式在线教育的某家国内教育机构为例，为大家介绍几个典型利用场景，供大家参考和借鉴。

• 典型场景一：跨地区、跨账号的数据会集
  假如该在线教育的次要用户集中在美国硅谷和中国上海两地，为了更好的为用户提供个性化服务，零碎会通过多端（Android/IOS/Web）进行收集用户行为日志和设施元数据（端设施的信息、软件版本）。出于网络就近准则和稳定性思考，美国硅谷的客户端日志都上传到美国硅谷 region，中国上海的客户端日志都都上传到中国上海 region，为了方面客服核心或者运维团队进行集中查问和治理，会将两地的数据通过数据加工汇聚到一起。正如下图下层所示，将跨账号跨区域的服务日志和操作日志通过数据加工汇聚到了一起。值得注意的是，跨地区数据会集，默认会走公网，稳定性无奈保障，所以举荐采纳 DCDN 的形式进行寰球减速。
  

• 典型场景二：数据对立的采集，按业务散发，进行数据的归类
  该客户的业务零碎部署在阿里云容器服务 ACK 上，系统日志通过 DaemonSet 形式采集到 Logstore。便于后续业务剖析的目标，须要通过日志服务 SLS 将不同 Service 的日志散发到不同的 Logstore，而后各个团队再进行进一步剖析。比方，运维团队更关怀 5XX 服务端报错；业务团队更在乎 2XX 失常的业务日志。正如下图上层所示：

• 典型场景三：数据内容富化（join 维表）
  日常工作中，客服核心的工作人员尝尝须要通过检索账号 ID 的形式，疾速获取该用户相干的挪动端操作记录，然而挪动端的数据和用户账号信息别离采集与寄存的，无奈间接进行关联。所以零碎层面上，须要将多端日志与维表（例如用户信息 Mysql 表）进行字段 join, 为原日志信息增加更多维度信息供剖析或者问题解答。

• 典型场景四：数据投递 / 归档、入湖剖析以及监控告警
  经营部门心愿对于用户行为数据进行进一步的离线剖析，须要将数据归档到 OSS 便于后续应用，比方通过 DLA 进行进一步的数据挖掘。然而因为不同客户端日志格局不对立，须要应用日志服务进行数据规整后再做投递，便于后续剖析。比方，将挪动端上报的 json 格局进行开展，做格式化的规整，而后将规整后的数据投递到 OSS 后，再应用 DLA 进行剖析。并且在这个过程中，咱们能够对加工工作的提早状况进行监控，当加工工作延迟时间超过所设置的阈值后，触发告警，执行相干口头策略。比方依据延迟时间的长短，设置不同的告警重大水平，并设置对应的告警模式：重大为短信告警，中等为邮箱告警。告诉到相应的运维人员，并且通过设置降噪策略，能够对相似告警进行归并，防止告警风暴的影响。其实上面这幅架构图也是这篇最佳实际的架构示意图，外面包含了计划波及到的外围组件，后续将通过云速搭 CADT 进行一键部署，实现根底资源的创立。
  

4. 应用云原生数据加工计划的劣势

通过这篇最佳实际，咱们能够晓得如何进行数据规整、如何进行数据富化、数据散发 / 汇聚、如何做监控告警的配置。

二、外围产品能力介绍

什么是 SLS？

SLS 这个产品用一句话形容即 SLS 是云原生观测剖析平台，为 LOG/METRIC/TRACE 等数据提供大规模、低成本、实时平台化服务。可能一站式提供数据采集、加工、剖析、告警可视化与投递性能，可能全面晋升研发、运维、经营和平安等场景的数字化剖析能力。艰深一点说的话，相干日志数据包含 log 日志、trace 日志、metric 日志都能够通过 SLS 采集之后，在 SLS 外面通过加工剖析等解决，最终利用到客户的业务场景里，次要场景包含：业务监控、异样诊断、网络分析、利用监控、增长黑客等。

SLS 是从阿里云飞天监控零碎中孵化的产品，是一款阿里自研，在阿里内外部失去宽泛应用的《日志 + 监控数据平台》，同时经验了团体多年双十一和内部客户新春红包的考验，是国内私有云 TOP1 的日志剖析产品。

SLS 的利用场景

SLS 作为一款日志产品，有着凋谢的产品理念和丰盛的生态穿插。对目前用户数据比拟大的云产品业务日志，以及审计日志，均可接入到 SLS。同时 SLS 与大数据产品的投递和生产的性能，有很强的的解决方案组合能力。那么接下来咱们就细看下 SLS 次要的利用场景，作为日志平台、业务监控、数据管道是目前应用最多的三个场景。

• 日志平台

  日志平台比拟好了解，只有是有肯定规模的用户，就必定会有业务运维和零碎运维的需要，也就衍生了日志平台的需要。在 SLS 产品化之前，大部分用户都是应用开源的服务进行组合，比拟支流的比方 ELK 的应用，而日志服务相比于这些自建的平台，在免运维、低成本、功能丰富等方面的劣势是自建零碎所无法比拟的。

• 业务监控
  业务监控和智能运维其实也是运维畛域通用场景的需要，SLS 领有秒级解决十亿级数据的剖析能力，同时能够满足各种异构数据提取、聚合、可视化需要。同时另外联合咱们的告警以及 AI 异样检测能力，能够帮忙客户疾速搭建起来一套欠缺的监控告警零碎，最初联合日志服务提供的异样巡检、时序预测、根因剖析等能力，可能帮忙用户进步问题发现以及剖析定位效率。
• 数据管道
  因为 SLS 具备极强的对立数据采集的能力，目前曾经反对 40+ 种数据源的接入，同时数据加工能力通过灵便的 ETL 可能对数据进行荡涤富化，最终通过投递生产的性能，与支流流式及离线平台大数据分析平台对接。因而作为数据管道在大数据等解决方案中应用也是次要的场景之一。

SLS 的次要性能

性能包含数据采集、数据加工、查问剖析、业务监控、日志审计、投递与生产。

• 日志采集

  日志采集是 SLS 的一个外围性能，是帮忙客户进行日志存储剖析等的前提，在日志采集这一方面,SLS 基本上是往极致的思路上在做。无论是 LOG/TRACE/METRIC 的日志，用户的服务器与利用日志，挪动端的数据日志，IoT 设施的日志，阿里云的各个云产品日志，还是其余场景，只有是满足标准协议的传输的日志，都能够通过 SLS 的采集平台进行对立采集。

• 数据加工

  实现了数据采集的工作之后，多样化的数据在投入使用之前，往往须要进行格局规整的工作，这时候就须要应用到数据加工的性能。SLS 提供的数据加工是一款开箱即用的性能，反对数据过滤、转化、富化、决裂等解决。为了实现这样的能力，数据加工提供了 200+ 的内置函数，400+ 的 Grok, 丰盛的文本处理，搜寻算子，能够通过简略的代码自在编排组合操作，实现所须要的的数据加工能力。

  
  同时数据加工具备的秒级解决性能，大吞吐性能和程度拓展能力能够保障客户工作的牢靠执行。

• 查问剖析

  通过数据加工，客户能够将原始的日志加工成结构化的数据，接下去就能够做查问和剖析。SLS 的查问剖析提供了关键词、规范的 SQL92\ALOPS 函数等多种多样的查问形式，反对面向文本 + 结构化数据实时查问剖析，异样巡检与智能剖析，同时 SLS 领有极致的查问性能，十亿数据可能在秒级进行返回。
  

• 业务监控

  通过这些剖析后失去的查问的数据，就能够应用 SLS 的可视化能力，造成报表不便二次查问。一次 SQL 长期应用，所见即所得。同时 SLS 反对下钻剖析和上卷剖析，客户能够依据理论的业务需要设置对应的报表组合。另外 SLS 反对灵便的告警策略，反对多数据源的联结告警监控，也反对通过归并、克制、静默等智能设置无效升高告警风暴，以便于可能将真正无效有价值的数据告诉到用户，不便用户随时随地掌握业务动向。
  

• 日志审计

  日志审计次要应答客户的平安需要，可能帮忙客户疾速接入审计数据，以合乎等保 / 网安法 /GDPR 协定，同时与第三方 SOC 残缺对接，能够对数据进行二次应用。目前日志审计已笼罩所有日志相干产品日志自动化采集，能够实现跨多主账号、主动实时发现新资源并实时采集。咱们在日志审计中内置了近百个 CIS、最佳实际等场景监控规定，能够一键开启，及时发现不合规的行为。

• 投递性能
  投递性能是在当客户有数据归档或者简单数据分析需要时，能够从日志服务投递（和生产对应的日志）到第三方服务。目前曾经对接了支流流计算引擎和数据仓库存储。生产性能是指用户的 ECS\ 容器、挪动端、开源软件、JS 等数据，通过采集接入到 SLS 后，能够通过 SDK/API 来自定义生产组，从 SLS 实时生产数据。

三、基于场景的 demo 演示

本最佳实际采纳云速搭 CADT 对须要应用的资源进行部署，它是一款为上云利用提供自助式云架构治理的产品，显著地升高利用云上治理的难度和工夫老本。本产品提供大量预制的利用架构模板，同时也反对自助拖拽形式定义利用云上架构，反对大量阿里云服务的配置和治理，能够不便地对云上架构计划的老本、部署、运维、回收进行全生命周期的治理。上面简略演示下架构部署环境的搭建过程。

1. 登录云速搭 CADT 控制台。

2. 单击 新建 > 官网模板库新建。

3. 在搜寻框中搜寻“云原生架构下日志服务数据预处理”，找到指标模板，单击 基于计划新建。

   
   零碎基于模板生成利用架构图：

4. 双击 OSS，须要重命名，保障全局惟一，其余资源配置依据理论状况批改。
   

5. 实现配置后，单击右上角的 保留 ，设置 利用名称 ，并单击 确认。

6. 接着单击 部署利用。

7. 按界面提醒，顺次实现资源验证、订单确认和下单创立等过程。期待资源部署胜利后，能够单击资源名称列下的各个资源查看。
   

对于残缺的搭建演示过程，大家能够通过上面这个链接或拜访二维码来拜访本篇最佳实际文档内容，外面蕴含最佳实际场景和残缺的搭建过程。

中转最佳实际》》https://bp.aliyun.com/detail/207

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。