业务学习初识Kafka

jiezi

5 年前

Grape

这几天简单学习了一下 Kafka，看了一些书，也查了一些资料，结合这些，我简单总结了一下 Kafka 的一些基础知识, 以此作记录～
老规矩，抛出我们这篇文章的三个问题：

什么是 Kafka?
有什么优缺点？
应用范围是什么？

大家简单思考一下，如果你知道的话～

首先我们看一下来自百度百科的定义：Kafka 是由 Apache 软件基金会开发的一个开源流处理平台，由 Scala 和 Java 编写。Kafka 是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。
这里边有两个重点：消息系统和发布订阅。那么接下来我们着重在这两方面叙述。

什么是消息系统？简单的说它主要是用来做数据收集处理以及传输的一个系统。数据工程中最具挑战性的部分之一是如何从不同点收集和传输大量数据到分布式系统进行处理和分析。需要通过消息队列正确地分离大量数据，因为如果一部分数据无法传送，则可以在系统恢复时传输和分析其他数据。通常有两种消息排队：点对点 (Point to point) 和发布者——订阅者(publisher-subscriber)。对于上述目的，它们都是可靠的和异步的。

说起发布订阅我们先来看下通常存在的两种消息排队中的另一位玩家：点对点。在点对点或一对一中，有一个发件人和正在监听发件人的多个消费者。当一个消费者从队列收到消息时，该特定消息将从队列中消失，而其他消费者无法获得该消息。
发布订阅：发布者向同时收听发布者的多个消费者或订阅者发送消息，并且每个订阅者可以获得相同的消息。数据应通过数据管道传输，数据管道负责整合来自数据源的数据。
也就是说，点对点只能发送给一个人一份信息，而发布订阅式可以发送给不用的人相同的信息。在这里我们不论述哪种方式的好坏，因为，方式的好坏是看业务场景的。

明白了定义，我们要知道 Kafka 的结构式什么样子的。大概就是以下图示：

我们看到，很明白的发布订阅者模式，以上三张图也是由浅入深，第一张大概介绍整个 Kafka 架构，我们可以看到又多个发布者向不同的 broker 发送消息，然后 broker 管理不同的 topic，最后订阅者去不同的分区消费消息。
当然，你可能还不太明白发布者订阅者之类的术语，下边我来解答几个常见的术语：
（1）Topics（主题）：属于特定类别的消息流称为主题。数据存储在主题中。Topic 相当于 Queue。主题被拆分成分区。每个这样的分区包含不可变有序序列的消息。分区被实现为具有相等大小的一组分段文件。
（2）Partition（分区）

一个 Topic 可以分成多个 Partition，这是为了平行化处理。每个 Partition 内部消息有序，其中每个消息都有一个 offset 序号。一个 Partition 只对应一个 Broker，一个 Broker 可以管理多个 Partition。

（3）Partition offset（分区偏移）每个分区消息具有称为 offset 的唯一序列标识。
（4）Replicas of partition（分区备份）副本只是一个分区的备份。副本从不读取或写入数据。它们用于防止数据丢失。
（5）Brokers（经纪人）：单个的 Kafka 服务器叫做「中间人」（Broker）。一个 Kafka 中间人，接收生产者发来的消费，分配偏移量，并存储入物理空间中去；同时，中间人还接收消费者的请求，把物理空间里的消息响应回去。
（6）Kafka Cluster（Kafka 集群）Kafka 有多个代理被称为 Kafka 集群。可以扩展 Kafka 集群，无需停机。这些集群用于管理消息数据的持久性和复制。
（7）Producers（生产者）：生产者是发送给一个或多个 Kafka 主题的消息的发布者。生产者向 Kafka 经纪人发送数据。每当生产者将消息发布给代理时，代理只需将消息附加到最后一个段文件。实际上，该消息将被附加到分区。生产者还可以向他们选择的分区发送消息。
（8）Consumers（消费者）：Consumers 从经纪人处读取数据。消费者订阅一个或多个主题，并通过从代理中提取数据来使用已发布的消息。

Consumer 自己维护消费到哪个 offset。
每个 Consumer 都有对应的 group。
group 内是 queue 消费模型：各个 Consumer 消费不同的 partition，因此一个消息在 group 内只消费一次。
group 间是 publish-subscribe 消费模型：各个 group 各自独立消费，互不影响，因此一个消息被每个 group 消费一次。
如果你对 offset 感兴趣，推荐关于 offset 的一篇文章请看：Kafka Offset 管理

到这我们总结一下，发布订阅系统的大致流程就是生产者生产消息推送到 brokers，各个 broker 将消息发送到不同的 topic 的分区上，然后再由消费者来进行消费（当然，这是最简单的模式）。
注意：生产者也可以向指定的某个 topic 由向他们选择的分区发送消息。

发布 / 订阅式的系统有很多，但 Kafka 出色在哪写方面？

解耦
在项目启动之初来预测将来项目会碰到什么需求，是极其困难的。消息系统在处理过程中间插入了一个隐含的、基于数据的接口层，两边的处理过程都要实现这一接口。这允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。
冗余
有些情况下，处理数据的过程会失败。除非数据被持久化，否则将造成丢失。消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的”插入 - 获取 - 删除”范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。
扩展性
因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。不需要改变代码、不需要调节参数。扩展就像调大电力按钮一样简单。
灵活性 & 峰值处理能力
在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见；如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
可恢复性
系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
顺序保证
在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。Kafka 保证一个 Partition 内的消息的有序性。
缓冲
在任何重要的系统中，都会有需要不同的处理时间的元素。例如，加载一张图片比应用过滤器花费更少的时间。消息队列通过一个缓冲层来帮助任务最高效率的执行。写入队列的处理会尽可能的快速。该缓冲有助于控制和优化数据流经过系统的速度。
异步通信
很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。
持久化到磁盘
Kafka 实际上将所有记录存储到磁盘中，并且不会在 RAM 中保留任何内容。它保存在磁盘上的数据格式与从生产者发送过来或者发送给消费者的消息格式是一样的。因为使用了相同的消息格式进行磁盘存储和网络传输，Kafka 可以使用零复制技术将消息直接发送给消费者，避免了对生产者已经压缩过的消息进行解压和再压缩。

活动跟踪
Kafka 可以记录用户访问前端应用的活动日志，这也是 LinkedIn 开发 Kafka 的初衷。Kafka 搜集的用户点击鼠标的事件、浏览页面的事件、更改个人主页的事件，均可以用作后端程序处理，使其变成有价值的产物。
系统监控和日志记录
可以向 Kafka 中发送系统的运行日志，通过分析这些日志，可以对系统的各个指标进行评估。同时，Kafka 记录的日志可供其它的日志分析系统消费。
发消息
Kafka 可以向其它应用发送中间件的消息，如：数据库有改动，可以将改动的信息发往应用程序。
流式处理
Kafka 提供的对数据的流式操作，和 Hadoop 的 Map/Reduce 模型类似，可以做到数据的实时处理。
等

参考文章：

初识 Kafka
Kafka 基本架构介绍
书籍：Kafka 权威指南

1. 什么是 Kafka?

消息系统

发布订阅：

2. 有什么优缺点？

3. 应用范围是什么？