共计 2911 个字符，预计需要花费 8 分钟才能阅读完成。
Flink 集群的部署
Flink 的部署有三种模式，别离是 Local，Standalone Cluster 和 Yarn Cluster，这里咱们次要讲如何配置 Yarn Cluster。
在配置 Flink On Yarn 之前，必须保障 hdfs 和 yarn 都曾经开启：Hadoop 集群部署与启动，Yarn 模式要思考 Container 内存资源分配
装置版本：flink-1.7.1-bin-hadoop28-scala_2.11.tgz
mkdir /usr/local/flink
tar zxvf flink-1.7.1-bin-hadoop28-scala_2.11.tgz -C /usr/local/flink批改域名与 IP 的对应关系 (hadoop2 和 hadoop3 同样也须要批改 hosts 文件）
vi /etc/hosts
10.2.15.176 hadoop1
10.2.15.177 hadoop2
10.2.15.170 hadoop3配置环境变量 (hadoop2 和 hadoop3 同样也须要批改 hosts 文件）
vi /etc/profile
export FLINK_HOME=/usr/local/flink/flink-1.7.1
export PATH=$PATH:$FLINK_HOME/bin
export HADOOP_HOME=/usr/local/hadoop/hadoop-2.8.3
export PATH=$HADOOP_HOME/bin:$PATH
source /etc/profile批改 flink-conf.yaml 文件
vi /usr/local/flink/flink-1.7.1/conf/flink-conf.yaml
#==============================================================================
# Common
#==============================================================================
jobmanager.rpc.port: 6123
jobmanager.heap.size: 1024m
taskmanager.heap.size: 1024m
taskmanager.numberOfTaskSlots: 1
parallelism.default: 1
env.java.home: /usr/local/jdk/jdk1.8.0_251
jobmanager.heap.mb: 6192m
taskmanager.heap.mb: 8192m
#==============================================================================
# High Availability
#==============================================================================
high-availability: zookeeper
high-availability.storageDir: hdfs:///flink/ha/
high-availability.zookeeper.quorum: 10.2.15.181:2181,10.2.15.174:2181,10.2.15.172:2181
high-availability.zookeeper.path.root: /flink_on_yarn
high-availability.zookeeper.path.namespace: /cluster_yarn
#==============================================================================
# Fault tolerance and checkpointing
#==============================================================================
state.backend: filesystem
state.backend.fs.checkpointdir: hdfs:///flink/checkpoints
#==============================================================================
# Web Frontend
#==============================================================================
rest.port: 8081
#==============================================================================
# Advanced
#==============================================================================
taskmanager.memory.preallocate: false
taskmanager.network.numberOfBuffers: 64000
fs.hdfs.hadoopconf: /usr/local/hadoop/hadoop-2.8.5/etc/hadoop批改 masters 和 slaves 文件
vi conf/masters
hadoop1:8081
hadoop2:8081
vi conf/slaves
hadoop2
hadoop3提交 Job
首先先启动 ZooKeeperjps 仲裁
./start-zookeeper-quorum.sh 而后启动 Per-Job-Cluster 工作，可通过 ./bin/flink run -m yarn-cluster -d -c mainClass /path/to/user/jar 命令应用拆散模式启动一个集群，即单任务单集群
./bin/flink run -m yarn-cluster ./examples/batch/WordCount.jar -input hdfs://hadoop1:9000/input/input_hadoop_demo_test.txt -output hdfs://hadoop1:9000/output/wordcount-result1.txt
或
./bin/flink run -m yarn-cluster -yn 2 -yjm 800 -ytm 800 ./examples/batch/WordCount.jar -input hdfs://hadoop1:9000/input/input_hadoop_demo_test.txt -output hdfs://hadoop1:9000/output/wordcount-result2.txt 在浏览器中输出 http://hadoop1:8088，可查看相干信息
正文完
