Flink快速入门安装与示例运行

jiezi

5 年前

flink 是一款开源的大数据流式处理框架，他可以同时批处理和流处理，具有容错性、高吞吐、低延迟等优势，本文简述 flink 在 windows 和 linux 中安装步骤，和示例程序的运行。

首先要想运行 Flink，我们需要下载并解压 Flink 的二进制包，下载地址如下：https://flink.apache.org/down…

我们可以选择 Flink 与 Scala 结合版本，这里我们选择最新的 1.9 版本 Apache Flink 1.9.0 for Scala 2.12 进行下载。

下载成功后，在 windows 系统中可以通过 Windows 的 bat 文件或者 Cygwin 来运行 Flink。

在 linux 系统中分为单机，集群和 Hadoop 等多种情况。

首先启动 cmd 命令行窗口，进入 flink 文件夹，运行 bin 目录下的start-cluster.bat

注意：运行 flink 需要 java 环境，请确保系统已经配置 java 环境变量。

$ cd flink
$ cd bin
$ start-cluster.bat
Starting a local cluster with one JobManager process and one TaskManager process.
You can terminate the processes via CTRL-C in the spawned shell windows.
Web interface by default on http://localhost:8081/.

显示启动成功后，我们在浏览器访问 http://localhost:8081/ 可以看到 flink 的管理页面。

Cygwin是一个在 windows 平台上运行的类 UNIX 模拟环境，官网下载：http://cygwin.com/install.html

安装成功后，启动 Cygwin 终端，运行 start-cluster.sh 脚本。

$ cd flink
$ bin/start-cluster.sh
Starting cluster.

显示启动成功后，我们在浏览器访问 http://localhost:8081/ 可以看到 flink 的管理页面。

图 ui

在 Linux 上单节点安装方式与 cygwin 一样，下载 Apache Flink 1.9.0 for Scala 2.12，然后解压后只需要启动 start-cluster.sh。

集群安装分为以下几步：

1、在每台机器上复制解压出来的 flink 目录。

2、选择一个作为 master 节点，然后修改所有机器 conf/flink-conf.yaml

jobmanager.rpc.address = master 主机名

3、修改 conf/slaves, 将所有 work 节点写入

work01
work02

4、在 master 上启动集群

bin/start-cluster.sh

我们可以选择让 Flink 运行在 Yarn 集群上。

下载 Flink for Hadoop 的包

保证 HADOOP_HOME 已经正确设置即可

启动 bin/yarn-session.sh

提交 flink 的批处理 examples 程序：

bin/flink run examples/batch/WordCount.jar

这是 flink 提供的 examples 下的批处理例子程序，统计单词个数。

$ bin/flink run examples/batch/WordCount.jar
Starting execution of program
Executing WordCount example with default input data set.
Use --input to specify file input.
Printing result to stdout. Use --output to specify output path.
(a,5)
(action,1)
(after,1)
(against,1)
(all,2)
(and,12)
(arms,1)
(arrows,1)
(awry,1)
(ay,1)

得到结果，这里统计的是默认的数据集，可以通过 –input –output 指定输入输出。

我们可以在页面中查看运行的情况：

图 wordcount

启动 nc 服务器：

nc -l 9000

提交 flink 的批处理 examples 程序：

bin/flink run examples/streaming/SocketWindowWordCount.jar --port 9000

这是 flink 提供的 examples 下的流处理例子程序，接收 socket 数据传入，统计单词个数。

在 nc 端写入单词

$ nc -l 9000
lorem ipsum
ipsum ipsum ipsum
bye

输出在日志中

$ tail -f log/flink-*-taskexecutor-*.out
lorem : 1
bye : 1
ipsum : 4

停止 flink

$ ./bin/stop-cluster.sh

大数据实时处理的王者 -Flink

更多实时计算,Flink,Kafka 等相关技术博文，欢迎关注实时流式计算

Flink快速入门安装与示例运行

通过 Windows 的 bat 文件运行

通过 Cygwin 运行

Linux 系统上安装 flink

单节点安装

集群安装

安装在 Hadoop

运行 flink 示例程序

批处理示例：

流处理示例：