关于flume:Flume简述

77次阅读

共计 1973 个字符，预计需要花费 5 分钟才能阅读完成。

数新网络官网已全新上线，欢送点击拜访

数新网络官网_让每个人享受数据的价值

Flume 是什么？咱们从 flume 的图标就能看出，它是一个水道。Flume 的图标上面是水，下面是木头。当咱们在山上的伐木场（source) 有很多木头须要运输到山下的时候，如果一棵一棵的去搬的话，太费膂力了，刚好山上有条小溪（channel），而它恰好又是通往山下的，咱们就能够把木头放到小溪里顺流而下，再在山下挖一个水槽（sink），让木头流向这个水槽，咱们须要用的时候就能够在这个水槽外面去取。而 flume 就是集（source+channel+sink）的一个日志数据采集工具。

编辑

图片来源于官网

2. Flume 概述

编辑

图 1 -1

Flume 是一个分布式、牢靠、和高可用的海量日志采集、聚合和传输的零碎。

Flume 能够采集文件，socket 数据包、文件、文件夹、kafka 等各种模式源数据，又能够将采集到的数据（下沉 sink）输入到 HDFS、hbase、hive、kafka 等泛滥内部存储系统中个别的采集需要，通过对 flume 的简略配置即可实现，Flume 针对非凡场景也具备良好的自定义扩大能力。因而，flume 能够实用于大部分的日常数据采集场景。

1.Flume og 构造

编辑

图 2 -1

Flume 初始的发行版本目前被统称为 Flume OG（original generation），属于 cloudera，随着 Flume 性能的扩大，Flume OG 代码工程臃肿、外围组件设计不合理、外围配置不规范等毛病裸露进去。以后咱们应用的个别是 flume ng (apache Flume)。

Flume OG 由三个角色节点组成：agent，collector，master 组成。agent 负责从数据源收集数据，将数据集中到 collector，而后汇入数据库，主节点 master 负责管理，在 OG 版本应用中，应用稳定性依赖于 zookeeper。

2.Flume ng 根底构造

编辑

图 2 -2

Flume NG 只有一种角色的节点：代理节点（agent），没有 collector、master 节点。这是外围组件最外围的变动。去除了 physical nodes、logical nodes 的概念和相干内容。
agent 节点的组成也产生了变动。NG agent 由 source、sink、channel 组成。

Flume 事务

编辑

图 3 -1


Put 事务流程

将数据先写入 putlist 长期缓冲区，查看 channel 内存是否足够合并（如果后续没有数据了，将在设定的工夫内合并），channel 内存不足，将回滚数据。


Take 事务流程

将数据推入长期缓冲区 takelist，并发送到 HDFS，如果数据全副发送胜利，则革除长期缓冲区 takelist，数据发送过程中如果出现异常，rollback 将长期缓冲区 takelist 中的数据归还给 channel 内存队列。

2.Flume agent 流程

编辑

图 3 -2

在 Source 接管到数据后，会把数据包装成 Event，并把数据交给 channel，由 ChannelProcessor 决定怎么交，交给谁。在 ChannelProcessor 流程中首先会将数据交给拦截器链，可进行数据清理，解决脏数据。拦截器尽量抉择简略的逻辑，不然会影响流式解决链条，整个流程都会变慢。后将数据交给 Channel 选择器 ChannelSelector，ChannelSelector 解决完将数据返还给 ChannelProcessor，依据 ChannelSelector 的抉择后果将数据写入对应的 channel。

每个 channel 都有一个独立的 SinkProcessor，sink 不是间接拉取数据的，sink 是由 SinkProcessor 决定怎么拉取数据的，默认的 SinkProcessor 一共有三种，别离是：


DefaultSinkProcessor：接管繁多的 Sink，不强制用户为 Sink 创立 Processor；LoadBalancingSinkProcessor：负载平衡片处理器提供在多个 Sink 之间负载平衡的能力；FailoverSinkProcessor：通过配置保护了一个优先级列表。保障每一个无效的事件都会被解决（故障转移）。

Flume 次要是用来数据采集，将用户的信息以及行为日志保留到 HDFS 集群中或者本地文件夹中，相当于一个搬运工，flume 的单位是 agent。学习 flume 的重点是须要把握 source 和 channel 之间的事务、sink 和 channel 之间的事务流程原理，以及 source 和 channel 之间的复制和多路复用的原理、sink 和 channel 之间的负载平衡、故障转移等原理。

一 END 一

正文完