乐趣区

关于云计算:Flink192源码编译和使用

jiezi

欢送拜访我的 GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及 Java、Docker、Kubernetes、DevOPS 等；

为什么要编译 flink 源码

用于学习，在 IDEA 上开发的 flink job，能间接在 IDEA 运行，如果运行时依赖的 flink 框架是咱们本人编译构建的，就做到了从业务到框架都能够批改源码并验证，起到了很好的学习和入手实际成果；

环境信息

  1. 电脑：2019 版 13 寸 MacBook Pro，2.3 GHz 四核 Intel Core i5，8 GB 2133 MHz LPDDR3
  2. 操作系统：macOS Catalina 10.15.3
  3. JDK：1.8.0_211
  4. Maven：3.6.0
  5. IDEA：2018.3.5 (Ultimate Edition)

对于正版 IDEA

如何收费应用正版 IDEA，能够参考《收费申请和应用 IntelliJ IDEA 商业版 License 指南》

全文概览

明天的实战由以下内容组成：

  1. 开发一个最简略的 flink 工作，在 IDEA 上以 local 模式运行；
  2. 下载 flink1.9.2 源码；
  3. 批改 flink1.9.2 源码，并且编译构建；
  4. 设置，让步骤 1 中的 flink 工作用上刚刚编译的 flink1.9.2 框架；
  5. 再次运行 flink 工作，验证批改后的 flink 框架是否失效；

IDEA 上运行 flink job 工程

  1. 在 IDEA 上创立 flink job 的 maven 工程并运行，请参考《IDEA 上运行 Flink 工作》
  2. 假如您已按下面的步骤在 IDEA 建好了 flink job 工程；
  3. 运行起来，在浏览器关上 flink 页面，如下图，绿框中显示一共有 8 个 Task Slot：

  1. 之所以会有 8 个 Task Slot，和下图红框中的代码无关，这是段 flink 框架源码 (StreamExecutionEnvironment.java)，入参 <font color=”blue”>parallelism</font> 是 CPU 核数，我这里是开了超线程的四核 i5 处理器，所以 <font color=”blue”>parallelism</font> 等于 8：

  1. 明天的指标就是批改上图红框中的源码，而后在网页上看是不是失效了（Task Slot 数量从 8 改成 5）；

筹备工作

  1. maven 地方仓库地址倡议用阿里云的，否则会常常遇到 jar 下载超时谬误，地址：http://192.168.50.43:8081/repository/aliyun-proxy/
  2. flink1.9.2 源码的 maven 工程依赖了一个地方仓库没有的 jar，GAV 是 io.confluent:kafka-schema-registry-client:3.3.1，您须要下载下来在本地仓库做 <font color=”blue”>mvn install</font> 操作，下载地址：http://packages.confluent.io/…
  3. 上述筹备工作都须要您在本地 maven 上操作，然而如果您的条件容许，还是强烈推荐在内网搭建 maven 私服 nexus3，参考：《群晖 DS218+ 做 maven 私服 (nexus3)》、《Ubuntu 部署和体验 Nexus3》、《Nexus3 罕用性能备忘》

下载 flink1.9.2 源码

flink1.9.2 源码的下载地址：http://ftp.jaist.ac.jp/pub/ap…

批改和编译构建

  1. 将下载好的 flink-1.9.2-src.tgz 解压，失去文件夹 flink-1.9.2
  2. 关上这个文件：flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java
  3. 如下图红框，找到 <font color=”blue”>createLocalEnvironment</font> 办法，把 <font color=”blue”>setParallelism</font> 的入参改成一个固定的数字 (每个 Task Slot 都要分配内存，所以这个数字请不要改得太大，否则启动 flink 就会报错了，我这里改成了 5)：

  1. 在文件夹 <font color=”blue”>flink-1.9.2</font> 下，执行编译构建的命令：<font color=”blue”>mvn clean install -DskipTests -Dfast</font>
  2. 经验漫长期待后提醒构建胜利：

  1. 确认这个文件已生成，稍后就要用到：<font color=”blue”>flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar</font>

设置

  1. 为了用上刚刚构建进去的 flink 框架 jar，要做些设置，关上之前运行的 flink job 利用，在我的项目上点击右键，点击菜单 <font color=”blue”>Open Module Settings</font>，如下图：

  1. 接下来要做三个和 jar 无关的操作，留神每一步都很重要：
  2. 下图红框 1 中的 flink-dist_2.11-1.9.2.jar 文件，是《IDEA 上运行 Flink 工作》一文中增加的，目标是提供网页服务，当初将其删除，操作如下图红框所示：

  1. 下图红框 1 中的 maven 依赖：<font color=”blue”>org.apache.flink:flink-streaming-java_2.11:1.9.2</font>，也请删除，操作如下图红框所示：

  1. 点击下图红框中的加号：

  1. 在弹出的窗口选中方才构建好的文件 <font color=”blue”>flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar</font>：

  1. 记得点击右下角的 OK 按钮保留，批改结束，接下来验证咱们批改的 flink 框架源码是否失效了

验证

  1. 以后 flink job 工程来自《IDEA 上运行 Flink 工作》一文，StreamingJob 的工作是读取本机 18081 端口的数据，所以咱们要把 18081 端口的服务启动起来，不然 StreamingJob 运行时是连不上端口的，关上一个控制台，执行命令：<font color=”blue”>nc -l 18081</font>
  2. 当初能够将 StreamingJob 运行起来，如下图，右键点击 StreamingJob，抉择 Run ‘StreamingJob.main()’：即可启动 flink 工作：

  1. 在 IDEA 的控制台搜寻关键字 <font color=”blue”>localhost</font>，如下图红框，能够查到 flink 网页的端口，我这里是 <font color=”blue”>52704</font>：

  1. 浏览器拜访 <font color=”blue”>http://localhost:52704</font>，如下图红框，Total Task Slots 数量是 5，咱们批改的 flink1.9.2 的源码失效了：

  1. 至此，Flink1.9.2 的源码从批改到编译构建，再到验证都曾经实现了，如果您也在学习 flink，心愿本文能给您一些参考，一起来入手实战吧；

欢送关注公众号：程序员欣宸

微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游 Java 世界 …
https://github.com/zq2599/blog_demos

退出移动版