Apache Zeppelin在Apache Trafodion上的可视化

24次阅读

共计 1981 个字符,预计需要花费 5 分钟才能阅读完成。

介绍
Apache Trafodion 和 EsgynDB(Esgyn 的商业版)支持数据可视化工具(例如,Apache Zeppelin 和 Tableau),具有标准 JDBC/ODBC 连接。本文重点介绍如何实现 Apache Zeppelin 在 Trafodion 上的可视化。
Apache Zeppelin 基于 web,数据专家可以通过该工具进行大规模数据挖掘和可视化的协作。大规模数据分析的工作流包括多个步骤,例如数据获取、预处理、可视化……。通过 Zeppelin,用户可以在不同的执行块 / 段中创建这些步骤。这一套步骤 / 工作流称为 Notebook。各段由解释器进行处理。Zeppelin 具有几个默认的解释器。我们可以使用 shell 解释器、PostgreSQL 解释器或 JDBC 解释器实现 Trafodion 或 EsgynDB 与 Zepplin 的集成。
架构
Zeppelin UI(客户端)连接到 Zeppelin Server,然后与一个或多个解释器进行交互,以执行段落中的命令。
对于 Trafodion/EsgynDB 集成,我们可以使用 JDBC 解释器或 Postgres 解释器运行 SQL 命令,使用 shell 解释器在 Trafodion/EsgynDB 实例上运行 shell 命令。

为 Trafodion/EsgynDB 配置 Zeppelin

将 Trafodion T4 JDBC 驱动器(jdbcT4.jar)复制到 Zeppelin 安装文件夹下的 lib 目录。
将 jdbcT4.jar 的所有权更改为 zeppelin 的用户 id。使用 HDP/Ambari 时,会单独创建一个 Zeppelin 用户 id。在您的系统上,检查 zeppelin lib 文件夹中其他 jar 文件的所有权,将这些所有权设置为与 jdbcT4.jar 相同。
重启 Zeppelin。如果您使用 Ambari 安装 Zeppelin,则可以使用 Ambari Web 控制台进行重启。
打开浏览器,登录 http://myhost:9995。在默认情况下,Zeppelin 在 9995 端口上运行。查看您的 Ambari 配置,了解详细信息。
您应该可以看到欢迎页面,状态应显示为已连接。

6. 首先,配置 JDBC 解释器,连接到 Trafodion/EsgynDB。单击菜单中的 Interpreter。

7. 单击 Create。8. 根据显示的内容,填写详细信息。单击 Save,创建解释器。1) 输入您解释器的名称。2) 在解释器的下拉菜单中,选择 JDBC。3) 填写 Trafodion JDBC 驱动器的详细信息,指定与您 Trafodion 实例匹配的 JDBC URL。

default.driver           org.trafodion.jdbc.t4.T4Driver

default.url                 jdbc:t4jdbc://myhost:23400/:

default.user              trafodion

default.password      traf123

9. 通过 Notebook -> Create new note 菜单,创建一个新的 notebook。10. 选择新创建的 notebook。11. 单击 notebook 右上角的 Interpreter Binding 图标。12. 选择您添加的新 Trafodion 解释器,拖动到解释器列表的顶部,单击 Save。

13. 输入一个 sql 命令(例如,get schemas),单击 Run。您应该可以看见您的 Trafodion/EsgynDB 数据库所有可用的 schema 列表。

14. 如果执行失败,出现连接错误或套接字错误:

查看 HBase 和 Trafodion/EsgynDB 是否正常启动并运行。
查看用户名和密码是否正确。
如果解释器超时一段时间,可能出现套接字连接错误。重启解释器,修复该错误。

15. 如果依然存在异常,您可以检查 zeppeliln 的 log 文件夹中的 zeppelin server 和 jdbc 解释器的日志消息。注意:在默认情况下,如果没有执行查询(或 Zeppelin UI 闲置),解释器会关闭与数据库的连接。再次运行查询之前,请重启解释器。
示例 DDL/ 获取 / 报告工作流
您可以使用一系列段落,在 Zeppelin 中创建工作流,每个段落分别负责执行您工作流中的一个步骤。下例使用 SQL DDL 语句创建一个新表,然后加载数据,最后运行一个已加载数据的报告。这些步骤分别使用 notebook 中的不同段落。
1. 创建目标 Trafodion 表。使用 JDBC 解释器运行 CREATE DDL 语句。

2. 使用 HBase Shell 命令,查看表的 HBase 属性。使用 shell 解释器,运行 hbase shell 命令。

3. 使用 ODB 和 CSV 文件,将数据加载到表。使用 shell 解释器,在 EsgynDB 实例上运行 ODB 工具。

4. 运行已加载数据的报告。使用 JDBC 解释器,运行 SQL 查询。

正文完
 0