本书主要内容包括Kafka入门与基础、Kafka的生产者、Kafka的消费者、深入Kafka消费者、Kafka的再均衡与分区分配、Katka的日志与事务、Spark基础以及Kafka与Spark的集成及应用等。 本书由多名一线研发工程师联合编写，结构清晰、案例丰富、通俗易懂、实用性强，适合作为高等院校计算机相关专业的程序设计教材，也可作为社会培训学校的培训教材。

第1章 Kafka入门与基础
1.1 Kafka初识
1.1.1 Kafka的官方解释
1.1.2 Kafka的整体架构
1.1.3 消息系统
1.1.4 常见的消息系统
1.1.5 Kafka的设计理念
1.1.6 Kafka的设计要点
1.1.7 Kafka的应用场景
1.2 Kafka的基本术语
1.2.1 Kafka的主要术语
1.2.2 Kafka的第一类基本术语
1.2.3 Kafka的第二类基本术语
1.3 Kafka的安装与部署
1.3.1 Kafka的环境准备
1.3.2 Kafka在Linux上的安装
1.3.3 Kafka集群安装的操作步骤
1.4 Kafka的集群规划
1.4.1 Kafka的集群考虑
1.4.2 Kafka服务端的主要参数
小结
习题
第2章 Kafka的生产者
2.1 Kafka生产者初识
2.1.1 主题的基本操作
2.1.2 Kafka发送消息的流程
2.1.3 Kafka的内部流程
2.1.4 生产者的基本操作
2.2 生产者的基本开发
2.2.1 Kafka生产者客户端支持的语言
2.2.2 Kafka生产者的开发流程
2.2.3 Kafka生产者分区策略
2.3 生产者发送消息的方式
2.3.1 Kafka消息发送的方式
2.3.2 Kafka的异常
2.3.3 Kafka的生产者重要配置
2.4 生产者的多线程开发
2.4.1 Kafka的多线程使用场景
2.4.2 Kafka的多线程开发方式
小结
习题
第3章 Kafka的消费者
3.1 生产者的自定义组件
3.1.1 消息的发送流程
3.1.2 Kafka的自定义组件开发
3.2 Kafka消费者初识
3.2.1 Kafka消费者概述
3.2.2 消费者与分区的关系
3.2.3 消费者的基本操作
3.2.4 消费者offset
3.3 消费者开发入门
3.4 消费者的自定义组件
小结
习题
第4章 深入Kafka消费者
4.1 序列化和反序列化
4.1.1 认识Protobuf
4.1.2 Protobuf的安装和序列化方法
4.1.3 Protobuf开发序列化和反序列化器
4.2 Kafka自动提交
4.2.1 Kafka的位移提交以及版本存在的问题
4.2.2 Kafka的消息重复和消息丢失
4.2.3 Kafka消费的位移管理
4.2.4 Kafka的位移提交方式
4.3 Kafka手动提交
4.3.1 Kafka的手动提交方式和参数
4.3.2 Kafka的同步提交
4.3.3 同步提交和异步提交的差异
4.3.4 Kafka的异步提交
4.4 Kafka控制消费者
小结
习题
第5章 Kafka的再均衡与分区分配
5.1 Kafka特定位移消费
5.1.1 Kafka的消费者位移重置
5.1.2 Kafka的指定偏移量开发流程
5.2 Kafka的再均衡
5.2.1 Kafka的再均衡和触发条件
5.2.2 Kafka再均衡的generation和监听器
5.3 Kafka的分区策略
5.3.1 Kafka的分区分配策略
5.3.2 Kafka的RangAssignor
5.3.3 Kafka的RoundRobinAssignor
5.3.4 Kafka的StickyAssignor
5.3.5 Kafka的自定义分区策略
小结
习题
第6章 Kafka的日志与事务
6.1 Kafka日志存储
6.1.1 Kafka的日志
6.1.2 Kafka的日志格式
6.1.3 日志文件的存储关系
6.1.4 Kafka的日志回滚
6.1.5 Kafka的日志查找
6.1.6 Kafka的日志清理
6.2 Kafka的可靠性
6.2.1 Kafka的可靠性机制
6.2.2 LEO和HW的更新机制
6.2.3 Kafka的HW与LEO更新流程
6.3 Kafka的幂等性
6.3.1 Kafka的消息语义
6.3.2 Kafka的幂等性原理
6.4 Kafka的事务
6.4.1 Kafka的事务概念
6.4.2 生产者和消费者并存的事务场景
小结
习题
第7章 Spark基础
7.1 Spark基础知识
7.1.1 Spark应用
7.1.2 Spark的核心抽象
7.1.3 Spark的核心抽象与各组件关系
7.1.4 理解RDD编程
7.1.5 Spark的术语
7.1.6 Spark的运行原理
7.1.7 WordCount任务划分
7.1.8 Spark的运行架构
7.1.9 Spark的下载
7.1.10 Spark的源码编译
7.2 SparkStreaming
7.2.1 SparkStreaming基础
7.2.2 Scala连接MySQL
小结
习题
第8章 Kafka与Spark的集成及应用
8.1 Kafka集成sparkStreaming
8.1.1 Kafka与SparkStreaming的集成方式
8.1.2 SparkStreaming获取Kafka数据的方式
8.1.3 SparkStreaming与Kafka的集成
8.2 Kafka集成StructStreaming
8.2.1 StructStreaming和SparkStreaming的对比
8.2.2 stmctstreaming基于sparksql引擎
8.2.3 StmctStreaming编程模型
8.2.4 Micro Batch和Continuous Processing
8.2.5 StmctStreaming基础
8.2.6 StructStreaming的Output Modes
8.2.7 StructStreaming与Kafka
小结
习题
练一练参考答案
习题参考答案