本书主要讲解分布式机器学习算法和开源框架，读者既可以从宏观的设计上了解分布式机器学习的概念和理论，也可以深入核心技术的细节设计中，对分布式机器学习形成深刻而直观的认识，做到学以致用。 本书共分为5篇，第1篇是分布式基础，首先介绍了分布式机器学习的概念、基础设施，以及机器学习并行化技术、框架和软件系统，然后对集合通信和参数服务器PS-Lite进行了介绍。第2篇是数据并行，以PyTorch和Horovod为主对数据并行进行分析，读者可以了解在具体工程领域内实现数据并行有哪些挑战和解决方案。第3篇是流水线并行，讲解了除模型划分之外，还通过引入额外的流水线来提高效率，以GPipe/PyTorch/PipeDream为例进行分析。第4篇是模型并行，首先对NVIDIAMegatron进行分析，讲解如何进行层内模型并行，然后讲解PyTorch如何支持模型并行，最后介绍分布式优化器。第5篇是TensorFlow分布式，前面几篇以PyTorch为纲，结合其他框架/库来穿插完成， 本篇带领大家进入TensorFlow分布式领域。

第1篇 分布式基础
第1章 分布式机器学习
1.1 机器学习概念
1.2 机器学习的特点
1.3 分布式训练的必要性
1.4 分布式机器学习研究领域
1.4.1 分布式机器学习的目标
1.4.2 分布式机器学习的分类
1.5 从模型角度看如何并行
1.5.1 并行方式
1.5.2 数据并行
1.5.3 模型并行
1.5.4 流水线并行
1.5.5 比对
1.6 从训练并发角度看如何并行
1.6.1 参数分布和通信拓扑
1.6.2 模型一致性和通信模式
1.6.3 训练分布
1.7 分布式机器学习编程接口
1.7.1 手动同步更新
1.7.2 指定任务和位置
1.7.3 猴子补丁优化器
1.7.4 Python作用域
1.8 PyTorch分布式
1.8.1 历史脉络
1.8.2 基本概念
1.9 总结
第2章 集合通信
2.1 通信模式
2.2 点对点通信
2.3 集合通信
2.3.1 Broadcast
2.3.2 Scatter
2.3.3 Gather
2.3.4 All-Gather
2.3.5 All-to-All
2.3.6 Reduce
2.3.7 All-Reduce
2.3.8 Reduce-Scatter
2.4 MPI_AllReduce
2.5 Ring All-Reduce
2.5.1 特点
2.5.2 策略
2.5.3 结构
2.5.4 Reduce-Scatter
2.5.5 All-Gather
2.5.6 通信性能
2.5.7 区别
第3章 参数服务器之PS-Lite
3.1 参数服务器
3.1.1 概念
3.1.2 历史渊源
3.1.3 问题
3.2 基础模块Postoffice
3.2.1 基本逻辑
3.2.2 系统启动
3.2.3 功能实现
3.3 通信模块Van
3.3.1 功能概述
……
第2篇 数据并行
第3篇 流水线并行
第4篇 模型并行
第5篇 TensorFlow分布式