共计 1398 个字符，预计需要花费 4 分钟才能阅读完成。
前言
分布式，是程序员必备技能之一，在面试过程中属于必备类的，在工作中更是会常常用到。而 Kafka 是一个分布式的基于公布订阅的音讯队列，目前它的魅力是无穷的，对于 Kafka 的神秘，还须要咱们细细去探寻。
要谈对 Kafka 有多相熟，我置信还是阿里的大佬们最有发言权，所以明天分享的内容，就是 Alibaba 外部供给的“限量笔记”，对于 Kafka 的精华全副写在这外面了，不得不感叹：不愧是 Alibaba 的技术官啊，真的服了！
对于这份 Kafka 限量笔记，我只能在文章中展现局部的章节内容和外围截图，如果你须要残缺的 pdf 版本，能够【间接点击此处】支付哦。
一、对 Kafka 的意识
1.Kafka 的基本概念
2. 装置与配置
3. 生产与生产
4. 服务端参数配置
二、生产者
1. 客户端开发
- 必要的参数配置
- 音讯的发送
- 序列化
- 分区器
- 生产者拦截器
2. 原理剖析
- 整体架构
- 元数据的更新
3. 重要的生产者参数
三、消费者
1. 消费者与 生产组
2. 客户端开发
- 必要的参数配置
- 订阅主题与分区
- 反序列化
- 音讯生产
- 位移提交
- 管制或敞开生产
- 指定位移生产
- 再平衡
- 消费者拦截器
- 多线程实现
- 重要的消费者参数
四、主题与分区
1. 主题的治理
- 创立主题
- 分区正本的调配
- 查看主题
- 批改主题
- 配置管理
- 主题端参数
- 删除主题
2. 初识 KafkaAdminCilent
- 根本应用
- 主题合法性验证
3. 分区的治理
- 优先正本的选举
- 分区重调配
- 复制限流
- 批改正本因子
4. 如何抉择适合的分区数
- 性能测试工具
- 分区数越多吞吐量就越高吗
- 分区数的下限
- 考量因素
五、日志存储
1. 文件目录布局
2. 日志格局的演变
- v0 版本
- v1 版本
- 消息压缩
- 变长字段
- v2 版本
3. 日志索引
- 偏移量索引
- 工夫戳索引
4. 日志清理
- 日志删除
- 日志压缩
5. 磁盘存储
- 页缓存
- 磁盘 I / O 流程
- 零拷贝
六、深刻服务端
1. 协定设计
2. 工夫轮
3. 延时操作
4. 控制器
5. 参数解密
七、深刻客户端
1. 分区调配策略
2. 消费者协调器和组协调器
3._consumer_offsets 分析
4. 事务
八、可靠性探索
1. 正本分析
2. 日志同步机制
3. 可靠性剖析
[图片上传失败 …(image-3b0595-1672367716850)]
九、Kafka 利用
1. 命令行工具
2.Kafka Connect
3.Kafka Mirror Maker
4.Kafka Streams
十、Kafka 监控
1. 监控数据的起源
2. 生产滞后
3. 同步生效分区
4. 监控指标阐明
5. 监控模块
十一、高级利用
1. 过期工夫(TTL)
2. 延时队列
3. 死信队列和重试队列
4. 音讯路由
5. 音讯轨迹
6. 音讯审计
7. 音讯代理
8. 消息中间件选型
十二、Kafka 与 Spark 的集成
1.Spark 的装置及简略利用
2.Spark 编程模型
3.Spark 的运行构造
4.Spark Streaming 简介
5.Kafka 与 Spark Streaming 的整合
6.Spark SQL
7.Structured Streaming
8.Kafka 与 Structured Streaming 的整合
总结
咱们总是喜爱瞻仰大厂的大神们，但实际上大神也不过凡人，与菜鸟程序员相比，也就多花了几分心理，如果你再不致力，差距也只会越来越大。实际上，作为程序员，丰盛本人的常识储备，晋升本人的常识深度和广度是很有必要的，在我看来，本人付出多少，回报就有多少。
Kafka 的学习，并没有设想中那么难，这份 Kafka 限量笔记外面的内容，对你学习 Kafka 必有启发和帮忙。如果你须要这份完整版的 Kafka 笔记，只需你多多 反对 我这篇文章。
