欢送拜访我的GitHub

https://github.com/zq2599/blog_demos

内容：所有原创文章分类汇总及配套源码，波及Java、Docker、Kubernetes、DevOPS等；

为什么要编译flink源码

用于学习，在IDEA上开发的flink job，能间接在IDEA运行，如果运行时依赖的flink框架是咱们本人编译构建的，就做到了从业务到框架都能够批改源码并验证，起到了很好的学习和入手实际成果；

环境信息

  1. 电脑：2019版13寸MacBook Pro，2.3 GHz 四核Intel Core i5，8 GB 2133 MHz LPDDR3
  2. 操作系统：macOS Catalina 10.15.3
  3. JDK：1.8.0_211
  4. Maven：3.6.0
  5. IDEA：2018.3.5 (Ultimate Edition)

对于正版IDEA

如何收费应用正版IDEA，能够参考《收费申请和应用IntelliJ IDEA商业版License指南》

全文概览

明天的实战由以下内容组成：

  1. 开发一个最简略的flink工作，在IDEA上以local模式运行；
  2. 下载flink1.9.2源码；
  3. 批改flink1.9.2源码，并且编译构建；
  4. 设置，让步骤1中的flink工作用上刚刚编译的flink1.9.2框架；
  5. 再次运行flink工作，验证批改后的flink框架是否失效；

IDEA上运行flink job工程

  1. 在IDEA上创立flink job的maven工程并运行，请参考《IDEA上运行Flink工作》
  2. 假如您已按下面的步骤在IDEA建好了flink job工程；
  3. 运行起来，在浏览器关上flink页面，如下图，绿框中显示一共有8个Task Slot：

  1. 之所以会有8个Task Slot，和下图红框中的代码无关，这是段flink框架源码(StreamExecutionEnvironment.java)，入参<font color="blue">parallelism</font>是CPU核数，我这里是开了超线程的四核i5处理器，所以<font color="blue">parallelism</font>等于8：

  1. 明天的指标就是批改上图红框中的源码，而后在网页上看是不是失效了（Task Slot数量从8改成5）；

筹备工作

  1. maven地方仓库地址倡议用阿里云的，否则会常常遇到jar下载超时谬误，地址：http://192.168.50.43:8081/repository/aliyun-proxy/
  2. flink1.9.2源码的maven工程依赖了一个地方仓库没有的jar，GAV是io.confluent:kafka-schema-registry-client:3.3.1，您须要下载下来在本地仓库做<font color="blue">mvn install</font>操作，下载地址：http://packages.confluent.io/...
  3. 上述筹备工作都须要您在本地maven上操作，然而如果您的条件容许，还是强烈推荐在内网搭建maven私服nexus3，参考：《群晖DS218+做maven私服(nexus3)》、《Ubuntu部署和体验Nexus3》、《Nexus3罕用性能备忘》

下载flink1.9.2源码

flink1.9.2源码的下载地址：http://ftp.jaist.ac.jp/pub/ap...

批改和编译构建

  1. 将下载好的flink-1.9.2-src.tgz解压，失去文件夹flink-1.9.2
  2. 关上这个文件：flink-1.9.2/flink-streaming-java/src/main/java/org/apache/flink/streaming/api/environment/StreamExecutionEnvironment.java
  3. 如下图红框，找到<font color="blue">createLocalEnvironment</font>办法，把<font color="blue">setParallelism</font>的入参改成一个固定的数字(每个Task Slot都要分配内存，所以这个数字请不要改得太大，否则启动flink就会报错了，我这里改成了5)：

  1. 在文件夹<font color="blue">flink-1.9.2</font>下，执行编译构建的命令：<font color="blue">mvn clean install -DskipTests -Dfast</font>
  2. 经验漫长期待后提醒构建胜利：

  1. 确认这个文件已生成，稍后就要用到：<font color="blue">flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar</font>

设置

  1. 为了用上刚刚构建进去的flink框架jar，要做些设置，关上之前运行的flink job利用，在我的项目上点击右键，点击菜单<font color="blue">Open Module Settings</font>，如下图：

  1. 接下来要做三个和jar无关的操作，留神每一步都很重要：
  2. 下图红框1中的flink-dist_2.11-1.9.2.jar文件，是《IDEA上运行Flink工作》一文中增加的，目标是提供网页服务，当初将其删除，操作如下图红框所示：

  1. 下图红框1中的maven依赖：<font color="blue">org.apache.flink:flink-streaming-java_2.11:1.9.2</font>，也请删除，操作如下图红框所示：

  1. 点击下图红框中的加号：

  1. 在弹出的窗口选中方才构建好的文件<font color="blue">flink-1.9.2/flink-dist/target/flink-dist_2.11-1.9.2.jar</font>：

  1. 记得点击右下角的OK按钮保留，批改结束，接下来验证咱们批改的flink框架源码是否失效了

验证

  1. 以后flink job工程来自《IDEA上运行Flink工作》一文，StreamingJob的工作是读取本机18081端口的数据，所以咱们要把18081端口的服务启动起来，不然StreamingJob运行时是连不上端口的，关上一个控制台，执行命令：<font color="blue">nc -l 18081</font>
  2. 当初能够将StreamingJob运行起来，如下图，右键点击StreamingJob，抉择Run 'StreamingJob.main()'：即可启动flink工作：

  1. 在IDEA的控制台搜寻关键字<font color="blue">localhost</font>，如下图红框，能够查到flink网页的端口，我这里是<font color="blue">52704</font>：

  1. 浏览器拜访<font color="blue">http://localhost:52704</font>，如下图红框，Total Task Slots数量是5，咱们批改的flink1.9.2的源码失效了：

  1. 至此，Flink1.9.2的源码从批改到编译构建，再到验证都曾经实现了，如果您也在学习flink，心愿本文能给您一些参考，一起来入手实战吧；

欢送关注公众号：程序员欣宸

微信搜寻「程序员欣宸」，我是欣宸，期待与您一起畅游Java世界...
https://github.com/zq2599/blog_demos