共计 319 个字符,预计需要花费 1 分钟才能阅读完成。
环境
java 环境
hadoop 环境
zookeeper 和 kafka 都要装置实现
组件抉择
source
flume1.7 退出的 taildir 类型的 source, 能够随时监控文件变动、反对断点续传。是支流的 source 类型。
channel
kafka channel,能将 source 传入的数据, 间接存储到 kafka。既保留在磁盘中,进步了可靠性。数据层传输的效率又高。是支流的 channel 类型
sink
步骤
/usr/local/apache-flume-1.10.0-bin/conf/flume-env.sh.template
文件去掉 template 后缀- 配置 java home
export JAVA_HOME=/usr/local/jdk-11.0.15
正文完