关于机器学习:如何在-Flink-集群部署-Alink

23次阅读

共计 1027 个字符,预计需要花费 3 分钟才能阅读完成。

在 Flink 集群部署 Alink,须要部署三个 Jar 包(本文会有一个局部专门讲述如何获取),对于不同 Flink 集群环境,形式有些区别,本文次要探讨 Standalone 集群和 Kubernetes 集群。

获取集群部署所需 Jar 包

因为 Alink 能够通过 Java 和 Python 两种形式提交,倡议在集群部署的时候将相干 Jar 包一起部署下来。Alink 尽管没有独自提供集群部署 Jar 包的下载,然而所需 Jar 包与 PyAlink 所用的雷同。所以能够从 PyAlink 的装置 whl 包中获取。具体形式如下:

1. 下载 PyAlink 1.10 的 whl 包 ,相干链接:

https://github.com/alibaba/Al…

2. 解压 PyAlink 1.10 的 whl 包

解压后的文件构造如下图所示,在 pyalink/lib 下为集群部署所需的三个 jar 包。

在 Standalone 集群上部署

将后面获取的三个 Jar 包拷贝到 Flink 目录下,再启动 Flink 集群即可。

  • 在 Flink 配置中减少:classloader.resolve-order: parent-first
  • 在 flink-[版本号] 目录下,运行 bin/start-cluster.sh 启动集群
  • bin/taskmanager.sh start 能够减少 TM

更多内容能够参考:

https://ci.apache.org/project…

在 Kubernetes 集群上部署

将后面获取的三个 Jar 包搁置进 Docker 镜像中,并将以下三个命令增加进 DockerFile,打包镜像即可。

ADD alink_connector_all-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_connector_all-1.1-SNAPSHOT.jar
ADD alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar $FLINK_LIB_DIR/alink_core_flink-1.10_2.11-1.1-SNAPSHOT.jar
ADD alink_python-1.1-SNAPSHOT-shaded.jar $FLINK_LIB_DIR/ alink_python-1.1-SNAPSHOT-shaded.jar

应用 Flink 官网提供的部署形式,其中减少 classloader.resolve-order: parent-first 配置项。参考:

https://ci.apache.org/project…

正文完
 0