近年来人工智能特别是深度学习技术得到了飞速发展，这背后离不开计算机硬件和软件系统的不断进步。在可见的未来，人工智能技术的发展仍将依赖于计算机系统和人工智能相结合的共同创新模式。本书介绍了前沿的系统和人工智能相结合的研究工作，包括AI for Systems和Systems for AI，以帮助读者更好地寻找和定义有意义的研究问题。同时，本书从系统研究的角度出发设计实验课程，通过操作和应用主流及最新的框架、平台和工具来鼓励读者动手实现和优化系统模块，以提高解决实际问题的能力，而不仅仅是了解工具使用。 本书主要面向相关领域的本科生、研究生、教师、工程师和研究员，帮助他们完整地了解支持深度学习的计算机系统架构，并通过解决实际问题来学习深度学习完整生命周期下的系统设计。

推荐序一
推荐序二
推荐序三
前言
致谢
第1章 人工智能系统概述
本章简介
内容概览
1.1 深度学习的历史、现状与发展
1.1.1 深度学习的广泛应用
1.1.2 深度学习方法
1.1.3 神经网络基本理论的奠定
1.1.4 深度学习算法、模型的现状和趋势
1.1.5 小结与讨论
1.1.6 参考文献
1.2 算法、框架、体系结构与算力的进步
1.2.1 大数据和分布式系统
1.2.2 深度学习算法的进步
1.2.3 计算机体系结构和计算能力的进步
1.2.4 计算框架的进步
1.2.5 小结与讨论
1.2.6 参考文献
1.3 深度学习系统的组成与生态
1.3.1 深度学习系统的设计目标
1.3.2 深度学习系统的大致组成
1.3.3 深度学习系统的生态
1.3.4 小结与讨论
1.3.5 参考文献
1.4 深度学习样例背后的系统问题
1.4.1 一个深度学习样例与其中的系统问题
1.4.2 模型算子实现中的系统问题
1.4.3 框架执行深度学习模型的生命周期
1.4.4 更广泛的人工智能系统生态
1.4.5 深度学习框架及工具入门实验
1.4.6 小结与讨论
1.4.7 参考文献
1.5 影响深度学习系统设计的理论、原则与假设
1.5.1 抽象层次化表示与解释
1.5.2 摩尔定律与算力发展趋势
1.5.3 局部性原则与内存层次结构
1.5.4 线性代数计算与模型缺陷容忍特性
1.5.5 并行加速与阿姆达尔定律优化上限
1.5.6 冗余与可靠性
1.5.7 小结与讨论
1.5.8 参考文献
第2章 神经网络基础
本章简介
内容概览
2.1 神经网络的基本概念
2.1.1 神经元的数学模型
2.1.2 神经网络的主要功能
2.1.3 激活函数
2.1.4 小结与讨论
2.2 神经网络训练
2.2.1 基本训练流程
2.2.2 损失函数
2.2.3 梯度下降
2.2.4 反向传播
2.2.5 小结与讨论
2.3 解决回归问题
2.3.1 提出问题
2.3.2 万能近似定理
2.3.3 定义神经网络结构
2.3.4 前向计算
2.3.5 反向传播
2.3.6 运行结果
2.3.7 小结与讨论
2.4 解决分类问题
2.4.1 提出问题
2.4.2 定义神经网络结构
2.4.3 前向计算
2.4.4 反向传播
2.4.5 运行结果
2.4.6 小结与讨论
2.5 深度神经网络
2.5.1 抽象与设计
2.5.2 权重矩阵初始化
2.5.3 批量归一化
2.5.4 过拟合
2.5.5 小结与讨论
2.6 梯度下降优化算法
2.6.1 随机梯度下降算法
2.6.2 动量算法
2.6.3 Adam算法
2.6.4 小结与讨论
2.7 卷积神经网络
2.7.1 卷积神经网络的能力
2.7.2 卷积神经网络的典型结构
2.7.3 卷积核的作用
2.7.4 卷积后续的运算
2.7.5 卷积神经网络的特性
2.7.6 卷积类型
2.7.7 小结与讨论
2.8 循环神经网络
2.8.1 循环神经网络的发展简史
2.8.2 循环神经网络的结构和典型用途
2.8.3 小结与讨论
2.9 Transformer模型
2.9.1 序列到序列模型
2.9.2 注意力机制
2.9.3 Transformer
2.9.4 小结与讨论
第3章 深度学习框架基础
本章简介
内容概览
3.1 基于数据流图的深度学习框架
3.1.1 深度学习框架发展概述
3.1.2 编程范式：声明式和命令式
3.1.3 数据流图
3.1.4 张量和张量操作
3.1.5 自动微分基础
3.1.6 数据流图上的自动微分
3.1.7 数据流图的调度与执行
3.1.8 单设备算子间调度
3.1.9 图切分与多设备执行
3.1.10 小结与讨论
3.1.11 参考文献
3.2 神经网络计算中的控制流
3.2.1 背景
3.2.2 静态图：向数据流图中添加控制流原语
3.2.3 动态图：复用宿主语言控制流语句
3.2.4 动态图转换为静态图
3.2.5 小结与讨论
3.2.6 参考文献
第4章 矩阵运算与计算机体系结构
本章简介
内容概览
4.1 深度学习的历史、现状与发展
4.1.1 全连接层
4.1.2 卷积层
4.1.3 循环网络层
4.1.4 注意力机制层
4.1.5 小结与讨论
4.1.6 参考文献
4.2 计算机体系结构与矩阵运算
4.2.1 CPU体系结构
4.2.2 CPU实现高效计算矩阵乘
4.2.3 在CPU上实现一个矩阵乘法算子实验
4.2.4 小结与讨论
4.3 GPU体系结构与矩阵运算
4.3.1 GPU体系结构
4.3.2 GPU编程模型
4.3.3 GPU实现一个简单的计算
4.3.4 在GPU上实现一个矩阵乘法算子实验
4.3.5 小结与讨论
4.4 面向深度学习的专有硬件加速器与矩阵运算
4.4.1 深度学习计算的特点与硬件优化方向
4.4.2 脉动阵列与矩阵计算
4.4.3 小结与讨论
第5章 深度学习的编译与优化
本章简