关于flume:躬行系列flume安装

环境

java环境
hadoop环境
zookeeper和kafka都要装置实现

组件抉择

source

flume1.7退出的taildir类型的source,能够随时监控文件变动、反对断点续传。是支流的source类型。

channel

kafka channel，能将source传入的数据,间接存储到kafka。既保留在磁盘中，进步了可靠性。数据层传输的效率又高。是支流的channel类型

sink

步骤

• /usr/local/apache-flume-1.10.0-bin/conf/flume-env.sh.template文件去掉template后缀
• 配置java home export JAVA_HOME=/usr/local/jdk-11.0.15