关于mysql:通过日志服务实现数据库MySQL入湖OSS实践

日志服务数据入湖

日志服务（SLS）是云原生观测剖析平台，为 Log/Metric/Trace 等数据提供大规模、低成本、实时平台化服务。一站式提供数据采集、加工、剖析、告警可视化与投递性能。阿里云提供了企业级的数据湖解决方案，存储层基于阿里云对象存储 OSS 构建。日志服务反对开箱即用的 OSS 投递入湖性能，实现数据的端到端的入湖。

本文次要介绍如何借助日志服务将关系型数据库 MySQL 数据入湖和实际，并介绍数据在入湖之前能够日志服务能够提供哪些开箱即用的性能。

入湖流程

日志服务中数据库 MySQL 入湖流程次要包含数据导入和数据投递两局部，日志服务在其中充当了数据通道和数据处理（ETL）的角色，借助日志服务的角色性能，能够为入湖提供更多附加的价值。

MySQL 数据导入

MySQL 作为一种关系型数据库，往往存储了企业外围的业务数据。典型的电商属性的企业零碎会有供应商表、库存表、订单表、用户表等数据；社区属性的企业零碎会有用户表、文章表、评论表等。随着业务的倒退数据量往往变得十分宏大，MySQL 作为一种 OLTP 数据库，善于事务的解决，在海量数据下，对商务经营查问剖析统计能力的需要并不敌对，往往须要将数据导入到 OLAP 中进行剖析统计。

日志服务提供了一站式数据接入能力，反对各类数据源的接入，本文次要介绍 MySQL 数据如何进行接入。

随着企业上云的数量越来越多，很多的企业间接应用了云上数据库，比方阿里云提供的 RDS 数据库，也有一些企业仍然应用自建数据库，日志服务的 MySQL 数据导入提供了对两种部署状态的数据库的反对。

自建数据库

自建数据库次要包含在 ECS 上自建的数据库或者客户环境部署的数据库，对于 ECS 自建数据库，往往是部署在 VPC 网络下，日志服务提供了间接通过 VPC 链接 ECS 自建数据库的能力。对于云下环境部署的数据库，出于平安思考个别不会提供公网的拜访链接，能够应用 SLS 的 Logtail 插件进行 MySQL 数据的导入，对于 Logtail 采集 MySQL 数据能够参考《采集 MySQL 查问后果》，这了不在赘述。

RDS 数据库

对于 RDS 数据库，日志服务数据接入提供了原生的网络连通能力，反对间接在 VPC 网络下的连通，不走公网流量，VPC 形式是比拟举荐的应用形式。

控制台数据导入流程

1. 登录 SLS 控制台，在 Project 列表页面，抉择已有的 Project 或者创立新的 Project。
2. 在日志库标签页，抉择已有 Logstore 或者单击 + 图标创立新的 Logstore。
3. 在日志库的数据接入 > 数据导入，单击 + 图标。抉择 MySQL 数据导入。

1. 在数据源配置页面，配置相干信息。输出信息结束后，也能够点击预览查看预览后果。留神：如果是 VPC 网络下，倡议抉择与 VPC 网络雷同的区域以防止公网流量。

2. 到相应的 Logstore 查看 MySQL 数据库是否正确接入，接入后能够抉择开启索引。

3. 工作治理和报表展现。

数据入湖

将数据接入到日志服务后，日志服务以 Logstore 作为数据接入形象层，屏蔽了数据源的复杂性，Logstore 数据以对立的形式入湖。具体应用办法能够参考：《SLS 投递 OSS 性能降级：打造更顺畅的日志入湖体验》。

日志服务的提供了全托管的数据投递性能和便捷的 Wizard 反对创立投递工作。仅需填写大量的字段即可实现入湖操作。

并提供了对立的工作治理页面和报表展现页面。

日志服务性能

日志服务提供了一站式的数据接入、加工、剖析、告警可视化、数据投递等性能，在入湖之前还能够对数据进行更多价值的开掘，上面举些列子来看下日志服务可用做些什么。

高性能、全功能查问剖析能力

日志服务除了提供海量数据的存储之外，也提供了高性能数据的查问剖析能力，反对秒级解决十亿级数据。

• 反对灵便的剖析语法，反对 SQL92 语法，与 MySQL 的数据查问无缝切换。应用参考剖析概述。
• 对于数据量微小的状况，日志服务提供了独享 SQL，反对千亿级数据的高性能剖析。适宜剖析性能要求高的场景、大规模业务数据分析场景、长周期数据分析场景。能够无效的补救 MySQL 剖析数据能力有余。
• 提供了丰盛的内置机器学习函数，能够通过机器学习函数调用机器学习算法，剖析某一字段或若干字段在一段时间内的特色。
• 反对 Scheduled SQL，反对对海量数据的 Roll Up。应用能够参考 Scheduled SQL。数据加工日志服务提供可托管、可扩大、高可用的数据加工服务。

数据加工

服务可用于数据的规整、富化、流转、脱敏和过滤。通过数据加工能够实现数据规整、数据分派、数据交融等场景下数据处理。

可视化

日志服务提供了丰盛的可视化性能，反对创立仪表盘、统计报表、和第三方可视化工具。通过 SQL 查问出的后果，抉择适合的统计图表类型来展现剖析后果。

仪表盘作为图表的聚合容器，反对主动刷新、报表订阅、设置告警等性能。能够作为企业大盘来应用。

反对丰盛的图表类型，包含表格、线图、流图以及灵便的变量配置和自定义事件等性能。

告警

日志服务提供了一站式的告警监控、降噪、事务管理、告诉分派的智能运维平台。商务经营人员（市场、客户经营、财务人员）能够通过告警性能对各种数据库或者指标（例如用户数、活跃度、广告点击率、商品转化率）等进行继续监控；辨认指标的变动状况或者异样并相应，以晋升经营效率、缩小业务危险或财务危险。

参考

• 日志服务（SLS）：https://www.aliyun.com/produc…
• 投递 OSS 性能降级：打造更顺畅的日志入湖体验：https://developer.aliyun.com/…
• 导入 MySQL 数据：https://help.aliyun.com/docum…
• 采集 MySQL 查问后果：https://help.aliyun.com/docum…
• 数据加工概述：https://help.aliyun.com/docum…
• 日志服务告警：https://help.aliyun.com/docum…
• 开启 SQL 独享版：https://help.aliyun.com/docum…
• 日志服务机器学习语法与函数：https://help.aliyun.com/docum…

原文链接

本文为阿里云原创内容，未经容许不得转载。