简介： 如何应用实时计算 Flink 搞定数据处理难题？实时计算 Flink 客训练营产品、技术专家齐上阵，从 Flink的倒退、 Flink 的技术原理、利用场景及行业案例，到开源Flink性能介绍和实时计算 Flink 劣势详解，现场实操，9天即可上手！ 本篇内容将介绍如何实时计算 Flink 与本身环境买通。

一、运行作业的Jar如何存储在OSS上

在VVP平台有两种办法能够上传作业的jar。

办法一，借助VVP提供的资源上传性能，能够间接应用这个性能对Jar进行上传目前该性能反对200兆以内的Jar包上传。应用时，间接在创立作业的时候抉择上传的jar包就能够了，演示如下：

● 进入到VVP平台，点击左侧资源上传性能，而后在关上页面点击右上角的上传资源，抉择要上传的Jar包，实现上传；

● 上传胜利后，点击左侧创立作业，欠缺作业名等信息。在Jar URI栏，下拉抉择刚刚上传的Jar包，点击确定实现创立作业，而后启动即可应用。

办法二，间接在OSS的控制台下面，将要应用的Jar上传上去，而后应用OSS是提供的Jar链接来行应用。应用的时候也比较简单，间接应用OSS提供的Jar链接，演示如下：

● 关上OSS控制台，抉择在创立VVP时候应用的Bucket，再抉择目录，点击上传文件，上传时能够将它的权限设置为公共读，点击上传文件即实现；
● 应用时，OSS管制台上点击已上传包右侧的“详情”，获取该Jar包的URL链接。

● 创立作业时，将jar包的URL的链接填入Jar URI，如下图所示：

须要留神，OSS详情页面提供的链接是公网拜访的，开明的VVP并不能间接拜访公网，所以在创立作业应用HTTPS的时候，须要应用VPC拜访的endpoint（例如：https://vvp-training.oss-cn-s...），这样能力失常的启动作业。

如果想用公网获取一个HTTPS的链接，怎么操作呢？能够首先对VVP进行公网买通，买通的操作流程能够参考阿里云帮忙文档中的《Flink 全托管集群如何拜访公网》（https://help.aliyun.com/docum...），简略来说步骤如下：

● 首先，创立一个NAT网关。创立时抉择“组合购买ERP”，而后抉择区域并补充名称等信息，而后绑定弹性公网IP，实现创立；
● 其次，创立SNAT条目。创立好NAT之后，点击“创立SNAT条目”，在弹窗抉择交换机并补充名称信息，实现创立。

实现上述两个步骤，该VVP实例就曾经买通公网，在创立Deployment时就能够间接应用https公网可拜访的jar包了。

二、在VVP平台上 Flink 如何与典型数据源进行交互

这部介绍如何通过SQL以及connectors与内部的一些数据存储系统进行交互，以SLS，Kafka作为数据源读写数据为例。

（实操演示）点击SQL编辑器，创立一个Datagen Table，它是用于数据的随机生成的，而后点击运行。而后再点击生成一个SLS Table，补充所需参数信息，而后点击创立实现。

创立实现后，写入SQL语句，比方insert into sls select id, name from datagen，而后另存后点击运行，创立Deployment并启动。

当作业胜利运行后，在SLS上查问数据。如下图所示，阐明datagen曾经生成数据并胜利写入SLS。

相似的，咱们能够依照下面的步骤从SLS读数据而后写入Kafka：

● 在vvp的sql编辑器页面创立一个Kafka table
● 用SQL语法从SLS读取数据写入Kafka中并启动
● 作业运行胜利后，即开始从SLS读数据写入Kafka中

三、如何将VVP平台上 Flink的指标打入内部Metrics零碎

接下介绍如果想把运行作业的指标放入到一些零碎当中去，并进行指标观测。VVP提供了两种办法：

办法一，VVP默认的将 Flink 作业指标打入到arms，不须要额定的解决，间接运行作业之后，就能通过指标按钮看到，如下图所示：

办法二，如果本人有指标零碎，想把 Flink 的作业指标打入到本人的零碎里，次要有两点：首先保障VVP上作业与本人指标零碎网络的连通性；其次在 Flink conf 中配置好相应的metrics reporter。如下图所示，在创立作业过程中，进行metric配置（metrics reporters配置参考：https://ci.apache.org/project...）：

例：应用premetheus的pushGateway形式，所以reporter class就抉择org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter。按上图所示配置pushGateway的port和host，Metric reporter就配置实现了。作业启动胜利后在配置好的grafana大盘上查看指标，如下例所示。

四、如何将Flink作业日志打入到内部零碎

如果在作业运行中，忽然运行失败，咱们想要查看运行失败作业的日志，就须要把 Flink 作业的日志保留下来。在VVP平台为这个目标提供了两种计划，将Logs写入OSS中或SLS中，简略来说，在创立作业的时候， 在Log配置项外面配置一些Log参数。

配置参考文档：https://help.aliyun.com/docum...

办法一，将日志写入OSS中。在创立作业的时候，在高级配置中的Log配置里，抉择应用用户自定义，而后将（帮忙文档）外面的配置放在自定义的配置中去，再将一些参数换成OSS的必要参数就能够了。

须要查看日志时，能够通过帮忙文档的领导，找到日志寄存的文件，而后点击下载查看。

办法二，将日志写入SLS中。与办法一相似，只是LOG配置项稍有差别；下载和查看办法与办法一统一。

作者：阿里云实时计算Flink
原文链接
本文为阿里云原创内容，未经容许不得转载