简介：如何应用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink 的倒退、Flink 的技术原理、利用场景及行业案例，到开源 Flink 性能介绍和实时计算 Flink 劣势详解，现场实操，9 天即可上手！本篇内容将介绍如何实时计算 Flink 与本身环境买通。

一、运行作业的 Jar 如何存储在 OSS 上

在 VVP 平台有两种办法能够上传作业的 jar。

办法一 ，借助 VVP 提供的资源上传性能，能够间接应用这个性能对 Jar 进行上传目前该性能反对 200 兆以内的 Jar 包上传。应用时，间接在创立作业的时候抉择上传的 jar 包就能够了，演示如下：

● 进入到 VVP 平台，点击左侧资源上传性能，而后在关上页面点击右上角的上传资源，抉择要上传的 Jar 包，实现上传；

● 上传胜利后，点击左侧创立作业，欠缺作业名等信息。在 Jar URI 栏，下拉抉择刚刚上传的 Jar 包，点击确定实现创立作业，而后启动即可应用。

办法二 ，间接在 OSS 的控制台下面，将要应用的 Jar 上传上去，而后应用 OSS 是提供的 Jar 链接来行应用。应用的时候也比较简单，间接应用 OSS 提供的 Jar 链接，演示如下：

● 关上 OSS 控制台，抉择在创立 VVP 时候应用的 Bucket，再抉择目录，点击上传文件，上传时能够将它的权限设置为公共读，点击上传文件即实现；
● 应用时，OSS 管制台上点击已上传包右侧的“详情”，获取该 Jar 包的 URL 链接。

● 创立作业时，将 jar 包的 URL 的链接填入 Jar URI，如下图所示：

须要留神，OSS 详情页面提供的链接是公网拜访的，开明的 VVP 并不能间接拜访公网，所以在创立作业应用 HTTPS 的时候，须要应用 VPC 拜访的 endpoint（例如：https://vvp-training.oss-cn-s…），这样能力失常的启动作业。

如果想用公网获取一个 HTTPS 的链接，怎么操作呢？能够首先对 VVP 进行公网买通，买通的操作流程能够参考阿里云帮忙文档中的《Flink 全托管集群如何拜访公网》（https://help.aliyun.com/docum…），简略来说步骤如下：

● 首先，创立一个 NAT 网关。创立时抉择“组合购买 ERP”，而后抉择区域并补充名称等信息，而后绑定弹性公网 IP，实现创立；
● 其次，创立 SNAT 条目。创立好 NAT 之后，点击“创立 SNAT 条目”，在弹窗抉择交换机并补充名称信息，实现创立。

实现上述两个步骤，该 VVP 实例就曾经买通公网，在创立 Deployment 时就能够间接应用 https 公网可拜访的 jar 包了。

二、在 VVP 平台上 Flink 如何与典型数据源进行交互

这部介绍如何通过 SQL 以及 connectors 与内部的一些数据存储系统进行交互，以 SLS，Kafka 作为数据源读写数据为例。

（实操演示）点击 SQL 编辑器，创立一个 Datagen Table，它是用于数据的随机生成的，而后点击运行。而后再点击生成一个 SLS Table，补充所需参数信息，而后点击创立实现。

创立实现后，写入 SQL 语句，比方 insert into sls select id, name from datagen，而后另存后点击运行，创立 Deployment 并启动。

当作业胜利运行后，在 SLS 上查问数据。如下图所示，阐明 datagen 曾经生成数据并胜利写入 SLS。

相似的，咱们能够依照下面的步骤从 SLS 读数据而后写入 Kafka：

● 在 vvp 的 sql 编辑器页面创立一个 Kafka table
● 用 SQL 语法从 SLS 读取数据写入 Kafka 中并启动
● 作业运行胜利后，即开始从 SLS 读数据写入 Kafka 中

三、如何将 VVP 平台上 Flink 的指标打入内部 Metrics 零碎

接下介绍如果想把运行作业的指标放入到一些零碎当中去，并进行指标观测。VVP 提供了两种办法：

办法一 ，VVP 默认的将 Flink 作业指标打入到 arms，不须要额定的解决，间接运行作业之后，就能通过指标按钮看到，如下图所示：

办法二 ，如果本人有指标零碎，想把 Flink 的作业指标打入到本人的零碎里，次要有两点：首先保障 VVP 上作业与本人指标零碎网络的连通性；其次在 Flink conf 中配置好相应的 metrics reporter。如下图所示，在创立作业过程中，进行 metric 配置（metrics reporters 配置参考：https://ci.apache.org/project…）：

例： 应用 premetheus 的 pushGateway 形式，所以 reporter class 就抉择 org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置 pushGateway 的 port 和 host，Metric reporter 就配置实现了。作业启动胜利后在配置好的 grafana 大盘上查看指标，如下例所示。

四、如何将 Flink 作业日志打入到内部零碎

如果在作业运行中，忽然运行失败，咱们想要查看运行失败作业的日志，就须要把 Flink 作业的日志保留下来。在 VVP 平台为这个目标提供了两种计划，将 Logs 写入 OSS 中或 SLS 中，简略来说，在创立作业的时候，在 Log 配置项外面配置一些 Log 参数。

配置参考文档：https://help.aliyun.com/docum…

办法一，将日志写入 OSS 中。在创立作业的时候，在高级配置中的 Log 配置里，抉择应用用户自定义，而后将（帮忙文档）外面的配置放在自定义的配置中去，再将一些参数换成 OSS 的必要参数就能够了。

须要查看日志时，能够通过帮忙文档的领导，找到日志寄存的文件，而后点击下载查看。

办法二，将日志写入 SLS 中。与办法一相似，只是 LOG 配置项稍有差别；下载和查看办法与办法一统一。

作者：阿里云实时计算 Flink
原文链接
本文为阿里云原创内容，未经容许不得转载