本书以初学者的角度详细介绍Spark架构的核心技术，主要围绕Spark的架构、Spark的开发语言、Spark模块的主要功能展开；以IDEA为主要开发工具，CentOS为运行环境，采用“理实一体化”授课模式。本书内容包括Spark导论，Spark环境搭建与使用，Scala语言，Spark弹性分布式数据集，Spark SQL、DataFrame和DataSet，Kafka分布式发布-订阅消息系统，Spark Streaming实时计算框架，Spark MLlib 机器学习算法库，Redis数据库，综合案例—Spark电商实时数据处理。通过对本书的学习，读者可以充分理解常用数据预处理方法的精髓，掌握具体技术细节，并在实践中提升实际开发能力，为学习大数据技能打下扎实基础。 本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等相关专业的教材，也可作为相关技术人员的参考书。

第1章 Spark导论
1.1 认识Spark
1.1.1 Spark的演进路线
1.1.2 Spark的特点
1.1.3 Spark与Hadoop的联系
1.2 Spark的生态系统
1.2.1 Spark Core
1.2.2 Spark SQL
1.2.3 Spark Streaming
1.2.4 Spark MLlib
1.2.5 Spark GraphX
1.3 Spark运行模式
1.3.1 Standalone模式
1.3.2 Mesos模式
1.3.3 YARN模式
1.4 Spark架构
1.4.1 Spark架构组成
1.4.2 Spark架构运行流程
1.4.3 Spark架构特点
1.5 Spark应用场景
1.6 本章小结
1.7 习题
第2章 Spark环境搭建与使用
2.1 搭建环境前的准备
2.1.1 Spark的下载
2.1.2 Scala的下载
2.1.3 Spark的前置配置
2.2 Spark集群的部署与操作
2.2.1 Spark集群的部署
2.2.2 Spark集群的启动与停止
2.3 第一个Spark程序
2.4 Spark Shell的启动
2.5 本章小结
2.6 习题
第3章 Scala语言
3.1 Scala简介
3.1.1 什么是Scala
3.1.2 Scala的特性
3.1.3 Scala的优势
3.2 Scala的安装
3.2.1 Windows下安装Scala编译器
3.2.2 Linux下安装Scala编译器
3.3 Scala基础
3.3.1 Scala快速入门
3.3.2 在IntelliJ IDEA中创建Scala项目
3.4 Scala的基本语法
3.4.1 声明变量
3.4.2 定义字符串
3.4.3 数据类型
3.4.4 运算符
3.4.5 块表达式
3.5 Scala的流程控制结构
3.5.1 顺序结构
3.5.2 分支结构
3.5.3 循环结构
3.5.4 breakable和break()方法
3.6 Scala的方法与函数
3.6.1 Scala中方法的定义和调用
3.6.2 Scala中函数的定义和调用
3.6.3 Scala中将方法转换成函数
3.7 Scala面向对象的特性
3.7.1 类和对象
3.7.2 private关键字
3.7.3 继承
3.7.4 单例对象
3.7.5 伴生对象
3.7.6 构造器
3.7.7 特质
3.7.8 抽象类
3.8 Scala的数据结构
3.8.1 数组
3.8.2 元组
3.8.3 集合
3.9 lazy关键字
实战训练：数组合并去重
3.10 本章小结
3.11 习题
第4章 Spark弹性分布式数据集
4.1 RDD简介
4.1.1 RDD的产生背景
4.1.2 RDD的特性
4.2 RDD的创建操作
4.2.1 从文件系统中加载数据创建RDD
4.2.2 通过并行集合创建RDD
4.2.3 从父RDD转换成新的子RDD
4.3 RDD算子
4.3.1 转换算子
4.3.2 动作算子
4.3.3 RDD常用算子练习
4.3.4 算子进阶
实战训练4-1：WordCount词频统计案例
4.4 RDD的分区
4.5 RDD的依赖关系
4.5.1 划分依赖的背景
4.5.2 划分依赖的依据
4.5.3 窄依赖
4.5.4 宽依赖
4.5.5 Stage的划分
4.6 RDD机制
4.6.1 持久化机制
4.6.2 RDD缓存方式
4.6.3 容错机制Checkpoint
4.7 Spark作业流程
4.7.1 DAG的生成
4.7.2 任务调度流程
4.7.3 提交任务的4个阶段
4.8 共享变量
4.8.1 广播变量
4.8.2 累加器
实战训练4-2：通过相关信息计算用户停留时间
实战训练4-3：统计学生信息
4.9 本章小结
4.10 习题
第5章 Spark SQL、DataFrame和DataSet
5.1 Spark SQL简介
5.1.1 Spark SQL的概念
5.1.2 Spark SQL的特点
5.1.3 Spark SQL的运行架构
5.2 DataFrame基础知识
5.2.1 DataFrame概念
5.2.2 创建DataFrame对象
5.2.3 DataFrame常用操作
5.3 DataSet基础知识
5.3.1 DataSet编程
5.3.2 DataSet的DSL风格操作
5.4 将RDD转为DataFrame的操作
5.4.1 通过反射推断Schema
5.4.2 DSL风格语法
5.4.3 通过StructType直接指定Schema
5.5 RDD、DataFrame和DataSet的区别
5.5.1 RDD的优缺点
5.5.2 DataFrame的优缺点
5.5.3 DataSet的优缺点
5.5.4 Spark SQL的性能与优化
5.6 通过Spark SQL操作数据源
5.6.1 操作MySQL数据源
5.6.2 操作Hive数据源
实战训练5-1：获取连续活跃用户的记录
实战训练5-2：计算店铺销售额
5.7 本章小结
5.8 习题
第6章 Kafka分布式发布-订阅消息系统
6.1 Kafka简介
6.1.1 什么是Kafka
6.1.2 消息系统简介
6.1.3 Kafka术语
6.2 Kafka与传统消息系统的区别
6.2.1 应用场景
6.2.2 架构模型
6.2.3 吞吐量
6.2.4 可用性
6.2.5 集群负载均衡
6.3 Kafka工作原理
6.3.1 Kafka的拓扑结构
6.3.2 分析Kafka工作流程
6.4 Kafka集群的部署与测试
6.4.1 集群部署的基础环境准备
6.4.2 安装Kafka
6.4.3 启动Kafka服务并进行测试
6.5 Kafka