简介：本文次要解说开源ETL工具如何连贯MaxCompute

直播视频请点击 直播 观看。

本次分享将从五个方面解说。

01 走进MaxCompute生态

02 开源ETL工具

03 客户端简介

04 PyODPS简介

05 实操展现

一、走进MaxCompute生态

首先来看下 MaxCompute 产品能反对的内部工具，大略能够分为商业智能、开发治理、传输调度、编程接口。本次分享次要关注商业智能（BI）工具这一板块，能够看到 MaxCompute 官网集成有Tableau、FineReport、FineBI、Quick BI。其中Tableau、FineBI、FineReport是在特定的版本会内置 MaxCompute 驱动，如果须要通过JDBC连贯 MaxCompute ，还是须要手动加载 MaxCompute JDBC驱动，Quick BI作为阿里云的产品，是能够通过阿里云账号和AK信息间接连贯的，同时在8.6及以上版本的Yonghong Desktop也是能够通过内置驱动连贯 MaxCompute。在商业智能局部还有开源BI工具，Superset、Davinci也能够连贯 MaxCompute。

在开发治理局部，是咱们第二讲的内容，包含DBeaver、DataGrip、SQL Workbench/J。

同时咱们的产品还集成了 Kafka和Flink开源引擎。反对的ETL开源工具有Kettle、Airflow、Azkaban，这一部分是本次分享来介绍。反对的编程接口有Python、JDBC、SQLAlchemy。

除了反对的内部工具，MaxCompute 本身也有凋谢生态，包含内建开源引擎 Spark，迁徙工具MMA，开发生态PyODPS、Mars，工具生态Web-Console等。同时 MaxCompute 也与阿里云外部产品独特构建了丰盛的解决方案生态和数据利用生态。

二、开源ETL工具

次要介绍一下开源ETL工具通过哪些形式连贯 MaxCompute 。开源ETL工具蕴含，Airflow、Azkaban、Kettle。

首先看下Airflow，Airflow是python编写的一款调度工具，外部有Python Operator和Bash Operator ， 等各种Operator。也反对自定义插件的开发，Airflow是通过command Operator管制MaxCompute客户端通过命令行的形式，提交SQL工作，对于Python SDK能够通过Python py文件这种形式提交，Java sdk能够通过java -jar形式提交。因为Airflow反对Python Operator，所以能够间接集成PyODPS，能够间接写Python代码。第二局部是Azkaban，Azkaban次要是通过command提交咱们的工作，能够通过MaxCompute提供的编程接口提交SQL工作。Kettle能够通过JDBC间接连贯MaxCompute。

三、MaxCompute CLI客户端简介

MaxCompute客户端反对运行在Linux/Mac/Window三个零碎上。

装置

•JDK 1.8以上。

•曾经创立MaxCompute我的项目，领有该我的项目权限的账号

配置

•批改conf文件夹下的odps\_config.ini文件

•填写ak、我的项目名、endpoint

应用

•Linux/Mac上执行bin目录下的odpscmd,windows执行bin目录下的odpscmd.bat

•反对执行单个sql语句，执行sql文件，上传资源，上传下载数据(Tunnel)、受权等操作

四、MaxCompute Python SDK（PyODPS）简介

装置

•PC客户端装置依赖于python环境，执行 pip install pyodps

•DataWorks内建PyODPS反对，通过新建PyOdps节点提交Python工作

PyODPS初始化

from odps import ODPS

o = ODPS('**your-access-id**', '**your-secret-access-key**', project='**your-project**', endpoint='**your-end-point**')

PyODPS接口

•表接口 ： o.get\_table o.create\_table

•Sql接口：o.run\_sql(异步执行）o.execute\_sql（同步执行）

•PyOdpsDataFrame：DataFrame(o.get\_table)、o.get\_table（).to\_df()

•上传下载数据：create\_upload\_session() create\_download\_session()

五、实操展现

Airflow实操展现

请点击 视频 查看实操局部

Azkaban实操展现

请点击 视频 查看实操局部

Kettle实操展现

请点击 视频 查看实操局部

版权申明：本文内容由阿里云实名注册用户自发奉献，版权归原作者所有，阿里云开发者社区不领有其著作权，亦不承当相应法律责任。具体规定请查看《阿里云开发者社区用户服务协定》和《阿里云开发者社区知识产权爱护指引》。如果您发现本社区中有涉嫌剽窃的内容，填写侵权投诉表单进行举报，一经查实，本社区将立即删除涉嫌侵权内容。