本书以Python作为开发Spark应用程序的编程语言，系统介绍了Spark编程的基础知识。全书共9章，内容包括大数据技术概述、Spark的设计与运行原理、大数据实验环境搭建、Spark环境搭建和使用方法、RDD编程、Spark SQL、Spark Streaming、Structured Streaming和Spark MLlib等。本书安排了入门级的编程实践内容，以助读者更好地学习和掌握Spark编程方法。本书免费提供全套在线教学资源，包括PPT课件、习题答案、源代码、数据集、微课视频、上机实验指南等。 本书可以作为高等院校计算机、软件工程、数据科学与大数据技术等专业的进阶级大数据课程教材，用于Spark编程实践教学，也可以供相关技术人员参考。

第1章 大数据技术概述
1.1 大数据概念与关键技术
1.1.1 大数据概念
1.1.2 大数据关键技术
1.2 代表性大数据技术
1.2.1 Hadoop
1.2.2 Spark
1.2.3 Flink
1.2.4 Beam
1.3 编程语言的选择
1.4 在线资源
1.5 本章小结
1.6 习题
第2章 Spark的设计与运行原理
2.1 概述
2.2 Spark生态系统
2.3 Spark运行架构
2.3.1 基本概念
2.3.2 架构设计方法
2.3.3 Spark运行的基本流程
2.3.4 RDD的设计与运行原理
2.4 Spark部署方式
2.5 本章小结
2.6 习题
第3章 大数据实验环境搭建
3.1 Linux操作系统的安装
3.1.1 下载安装文件
3.1.2 Linux操作系统的安装方式
3.1.3 虚拟机和Linux操作系统的安装
3.2 Hadoop的安装
3.2.1 Hadoop简介
3.2.2 安装Hadoop前的准备工作
3.2.3 Hadoop的3种安装模式
3.2.4 下载Hadoop安装文件
3.2.5 单机模式配置
3.2.6 伪分布式模式配置
3.2.7 分布式模式配置
3.3 MySQL的安装
3.3.1 执行安装命令
3.3.2 启动MySQL服务
3.3.3 进入MySQL Shell界面
3.3.4 解决MySQL出现的中文乱码问题
3.4 Kafka的安装
3.4.1 Kafka简介
3.4.2 Kafka的安装和使用
3.5 Anaconda的安装和使用方法
3.6 本章小结
实验1 Linux、Hadoop和MySQL的安装与使用
第4章 Spark环境搭建和使用方法
4.1 安装Spark（Local模式）
4.1.1 基础环境
4.1.2 下载安装文件
4.1.3 配置相关文件
4.1.4 验证Spark是否安装成功
4.2 在PySpark中运行代码
4.2.1 pyspark命令
4.2.2 启动PySpark
4.3 使用spark-submit命令提交运行程序
4.4 Spark集群环境搭建（Standalone模式）
4.4.1 集群概况
4.4.2 搭建Hadoop集群
4.4.3 安装Anaconda
4.4.4 在集群中安装Spark
4.4.5 配置环境变量
4.4.6 Spark的配置
4.4.7 启动Spark集群
4.4.8 关闭Spark集群
4.5 在集群上运行Spark应用程序
4.5.1 启动Spark集群
4.5.2 提交运行程序
4.6 Spark on YARN模式
4.6.1 概述
4.6.2 Spark on YARN模式的部署
4.6.3 采用YARN模式运行PySpark
4.6.4 通过spark-submit命令提交程序到YARN集群
4.6.5 Spark on YARN的两种部署模式
4.7 安装PySpark类库
4.7.1 类库与框架的区别
4.7.2 PySpark类库的安装
4.8 开发Spark独立应用程序
4.8.1 编写程序
4.8.2 通过spark-submit运行程序
4.9 PyCharm的安装和使用
4.9.1 安装PyCharm
4.9.2 使用PyCharm开发Spark程序
4.10 本章小结
4.11 习题
实验2 Spark的安装和使用
第5章 RDD编程
5.1 RDD编程基础
5.1.1 RDD创建
5.1.2 RDD操作
5.1.3 持久化
5.1.4 分区
5.1.5 综合实例
5.2 键值对RDD
5.2.1 键值对RDD的创建
5.2.2 常用的键值对转换操作
5.2.3 综合实例
5.3 数据读写
5.3.1 本地文件系统的数据读写
5.3.2 分布式文件系统HDFS的数据读写
5.3.3 读写MySQL数据库
5.4 综合实例
5.4.1 求TOP值
5.4.2 文件排序
5.4.3 二次排序
5.5 本章小结
5.6 习题
实验3 RDD编程初级实践
第6章 Spark SQL
6.1 Spark SQL简介
6.1.1 从Shark说起
6.1.2 Spark SQL架构
6.1.3 为什么推出Spark SQL
6.1.4 Spark SQL的特点
6.1.5 Spark SQL简单编程实例
6.2 结构化数据DataFrame
6.2.1 DataFrame概述
6.2.2 DataFrame的优点
6.3 DataFrame的创建和保存
6.3.1 Parquet
6.3.2 JSON
6.3.3 CSV
6.3.4 文本文件
6.3.5 序列集合
6.4 DataFrame的基本操作
6.4.1 DSL语法风格
6.4.2 SQL语法风格
6.5 从RDD转换得到DataFrame
6.5.1 利用反射机制推断RDD模式
6.5.2 使用编程方式定义RDD模式
6.6 使用Spark SQL读写数据库
6.6.1 准备工作
6.6.2 读取MySQL数据库中的数据
6.6.3 向MySQL数据库写入数据
6.7 PySpark和pandas的整合
6.7.1 PySpark和pandas进行整合的可行性
6.7.2 pandas数据结构
6.7.3 实例1：两种DataFrame之间的相互转换
6.7.4 实例2：使用自定义聚合函数
6.8 综合实例
6.9 本章小结
6.10 习题
实验4 Spark SQL编程初级实践
第7章 Spark Streaming
7.1 流计算概述
7.1.1 静态数据和流数据
7.1.2 批量计算和实时计算
7.1.3 什么是流计算
7.1.4 流计算框架
7.1.5 流计算处理流程
7.2 Spark Streaming概