Kafka是由LinkedIn开发的一个分布式的音讯零碎，应用Scala编写，它因能够程度扩大和高吞吐率而被宽泛应用。目前越来越多的开源分布式解决零碎如Cloudera、Apache Storm、Spark都反对与Kafka集成。

Kafka是一个音讯零碎，用作LinkedIn的流动流（Activity Stream）和经营数据处理管道（Pipeline）的根底。流动流数据是简直所有站点在对其网站应用状况做报表时都要用到的数据中最惯例的局部。

装置 JDKJDK 的装置非常简单，这里咱们装置 JDK 8 即可（尽管 JDK 当初的新版本是 16，然而国内生产环境还有相当一大部分还是停留在 8 这个版本上）。首先到 JDK下载地址下载对应零碎的 JDK 安装包即可，这里我应用的是 mac 零碎，下载 dmg 文件即可。

Kafka 会依照肯定的策略，将音讯依照 key 值路由到指定的 partition 中，从而保障 key 雷同的 message 全副写入同一 partition 中。

Kakfa依赖文件系统来存储和缓存音讯。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构是否提供优异的性能？实际上硬盘的快慢齐全取决于应用形式。同时 Kafka 基于 JVM 内存有以下毛病：

随着技术一直的成熟及市场需求的日益旺盛，实时开发曾经成为以后大数据开发不可或缺的一部分。在整个实时开发的链路中，数据采集须要写入到Kafka，数据处理也须要应用到Kafka。明天咱们就针对Kafka这个时下支流的消息中间件进行简略的介绍。

数栈是云原生—站式数据中台PaaS，咱们在github和gitee上有一个乏味的开源我的项目：FlinkX，FlinkX是一个基于Flink的批流对立的数据同步工具，既能够采集动态的数据，也能够采集实时变动的数据，是全域、异构、批流一体的数据同步引擎。大家喜爱的话请给咱们点个star！star！star！

ETL，是英文 Extract-Transform-Load 的缩写，用来形容将数据从起源端通过抽取(extract)、转换(transform)、加载(load)至目标端的过程。ETL 是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，通过数据荡涤，最终依照事后定义好的数据仓库模型，将数据加载到数据仓库中去。咱们在下方列出了 7 款开源的 ETL 工具…

咱们上一节解说了Kafka架构-底层原理:从根底的partition外面的offset引申到LEO和HW;以及对于Leader partition跟follower partition而言,他们的LEO跟HW是如何更新的的？以及高水位HW在leader选举切换时候，存在的数据失落跟数据不统一问题，以及通过leader epoch版本号的概念引入解决下面问题，因为HW的变更还跟leadder p…

『码哥』的 Redis 系列文章有一篇讲透了 Redis 的性能优化 ——《Redis 外围篇：唯快不破的机密》。深刻地从 IO、线程、数据结构、编码等方面分析了 Redis “快”的外部机密。65 哥深受启发，在学习 Kafka 的过程中，发现 Kafka 也是一个性能非常优良的中间件，遂要求『码哥』讲一讲 Kafka 性能优化方面的常识，所以『码哥』…