关于flume:躬行系列flume安装

11次阅读

共计 319 个字符,预计需要花费 1 分钟才能阅读完成。

环境

java 环境
hadoop 环境
zookeeper 和 kafka 都要装置实现

组件抉择

source

flume1.7 退出的 taildir 类型的 source, 能够随时监控文件变动、反对断点续传。是支流的 source 类型。

channel

kafka channel,能将 source 传入的数据, 间接存储到 kafka。既保留在磁盘中,进步了可靠性。数据层传输的效率又高。是支流的 channel 类型

sink

步骤

  • /usr/local/apache-flume-1.10.0-bin/conf/flume-env.sh.template 文件去掉 template 后缀
  • 配置 java home export JAVA_HOME=/usr/local/jdk-11.0.15
正文完
 0