简介： Flink 是目前最风行的大数据及流式计算框架之一，用户能够应用 Java/Scala/Python 的 DataStream 接口或者规范 SQL 语言来疾速实现一个分布式高可用的流式利用，通过外部的 Java JIT、off-heap 内存治理等技术优化性能，并且有残缺的 Source、Sink、WebUI、Metrics 等性能集成，让 Flink 简直成为了流式计算的事实标准。
作者：田志声
前言
Flink 是目前最风行的大数据及流式计算框架之一，用户能够应用 Java/Scala/Python 的 DataStream 接口或者规范 SQL 语言来疾速实现一个分布式高可用的流式利用，通过外部的 Java JIT、off-heap 内存治理等技术优化性能，并且有残缺的 Source、Sink、WebUI、Metrics 等性能集成，让 Flink 简直成为了流式计算的事实标准。
然而当解决海量数据的时候，很容易呈现各种异样和性能瓶颈，这时咱们须要优化零碎性能时，经常须要剖析程序运行行为和性能瓶颈。Profiling 技术是一种在利用运行时收集程序相干信息的动态分析伎俩，罕用的 JVM Profiler 能够从多个方面对程序进行动态分析，如 CPU、Memory、Thread、Classes、GC 等，其中 CPU Profiling 的利用最为宽泛。CPU Profiling 常常被用于剖析代码的执行热点，如“哪个办法占用 CPU 的执行工夫最长”、“每个办法占用 CPU 的比例是多少”等等，通过 CPU Profiling 失去上述相干信息后，研发人员就能够轻松针对热点瓶颈进行剖析和性能优化，进而突破性能瓶颈，大幅晋升零碎的吞吐量。
本文介绍咱们在做性能优化罕用的火焰图以及为如何集成火焰图到通用的 Flink 作业中。
火焰图介绍
火焰图是《性能之巅》作者以及 DTrace 等一系列 Linux 系统优化工具作者 Brendan Gregg 大神的作品之一，能够十分清晰地展现应用程序的函数调用栈以及函数调用工夫占比，基本原理是通过各种 agent 在程序运行时采样并输入日志，应用 FlameGraph 工具把日志提取进去输入可在浏览器交互式查看的 SVG 图片。
Uber 开源了 jvm-profiler 我的项目，介绍如何为 Spark 利用和 Java 利用增加火焰图反对，然而目前 Flink 社区和 jvm-profiler 官网都还没有相干的应用教程。
实际上基于 JVM 的程序都能够应用这个工具，本文将基于 jvm-profiler 来介绍如何生成 Flink 作业的火焰图。
下载和编译 jvm-profiler
git clone git clone https://github.com/uber-common/jvm-profiler.git
mvn clean install -DskipTests=true -Dcheckstyle.skip -Dfast -T 8C编译好了之后，将我的项目 target 目录下的 jvm-profiler-1.0.0.jar 复制一份到 flink 的 lib 目录上面。
cp target/jvm-profiler-1.0.0.jar /usr/local/flink-1.11.1/lib下载 FlameGraph
因为 jvm-profiler 反对生成火焰图须要的日志文件，将日志转化成交互式 SVG 图片还是应用 Brendan Gregg 的 FlameGraph 工具。
git clone https://github.com/brendangregg/FlameGraph.git下载我的项目源码即可，前面会应用 flamegraph.pl 工具来生成图片文件。
配置 Flink
对于 Flink 利用，咱们只须要在 TaskManager 中注入打点的 Java agent 即可，这里测试，我就应用本地 standalone 模式，批改 Flink conf 目录下的 flink-conf.yaml 文件，增加一下如下配置：
env.java.opts.taskmanager: "-javaagent:/usr/local/flink-1.11.1/lib/jvm-profiler-1.0.0.jar=sampleInterval=50"目前最小的采样距离就是 50 毫秒，而后启动集群和运行一个 Flink 作业：
./bin/start-cluster.sh
// 运行一个作业
./bin/flink run ./examples/streaming/StateMachineExample.jar运行之后能够看到 TaskManager 的 stdout 外面打印如下：
因为曾经注入 Java agent，因而在规范输入中会定期增加火焰图所须要的打点数据，而后应用上面的命令提取相干日志，并且应用 jvm-profiler 和 FlameGraph 提供的工具来生成 SVG 图片文件。
_//1、提取 stdout 文件中的相干日志_
cat log/flink-zhisheng-taskexecutor-0-zhisheng.out | grep "ConsoleOutputReporter - Stacktrace:" | awk '{print substr($0,37)}' > stacktrace.json
_//2、在 jvm-profiler 目录下执行上面命令_
python ./stackcollapse.py -i /usr/local/flink-1.11.1/stacktrace.json > stacktrace.folded
_//3、在 FlameGraph 目录下执行上面命令生成 SVG 图片_
./flamegraph.pl /Users/zhisheng/Documents/github/jvm-profiler/stacktrace.folded > stacktrace.svg而后用浏览器关上方才生成的 SVG 图片就能够看到火焰图信息。
总结
本文次要目标在于教大家如何利用 jvm-profiler 去生成 Flink 作业的运行火焰图，这样能够在遇到性能瓶颈问题的时候会很不便大家去定位问题，对于如何去读懂生成的火焰图，前面能够再分享系列文章。
原文链接
本文为阿里云原创内容，未经容许不得转载。