第1章 引言
1.1 人工智能时代背景
1.2 数据处理
1.2.1 大数据时代背景
1.2.2 数据获取
1.2.3 数据清洗与整理
1.3 算法基础
1.3.1 卷积的概念
1.3.2 CNN基本概念
1.4 计算芯片
1.4.1 GPU
1.4.2 ARM
1.5 深度学习框架
1.5.1 Caffe
1.5.2 TensorFlow
1.5.3 PyTorch
第2章 模型性能评估
2.1 性能指标
2.1.1 基准模型
2.1.2 参数量
2.1.3 计算量与内存访问代价
2.1.4 计算速度
2.1.5 并行化程度
2.1.6 能耗
2.2 学术与产业竞赛
第3章 模型可视化
3.1 模型可视化基础
3.1.1 为什么要研究模型可视化
3.1.2 模型可视化的研究方向
3.2 模型结构可视化
3.2.1 Netscope可视化方法
3.2.2 TensorBoard模型结构可视化
3.2.3 Graphiz可视化工具
3.2.4 Netron可视化工具
3.3 模型参数与特征可视化
3.3.1 参数可视化
3.3.2 激活值可视化
3.3.3 工具
3.4 输入区域重要性可视化
3.4.1 基本原理
3.4.2 基于反向传播的输入可视化
3.4.3 类激活映射可视化
3.5 输入激活模式可视化
3.5.1 概述
3.5.2 梯度计算法
3.5.3 反卷积法
3.5.4 网络反转法
3.5.5 小结
3.6 模型可视化分析实践
3.6.1 基于梯度计算法的可视化
3.6.2 反卷积可视化
3.6.3 CAM可视化
3.6.4 小结
第4章 轻量级模型设计
4.1 卷积核的使用和设计
4.1.1 全连接层的压缩
4.1.2 小卷积核的应用
4.2 卷积拆分与分组
4.2.1 卷积拆分操作
4.2.2 分组卷积Xception与MobileNet
4.2.3 ShuffleNet
4.2.4 级连通道分组网络
4.2.5 多分辨率卷积核通道分组网络
4.2.6 多尺度通道分组网络
4.2.7 多精度分组网络
4.3 特征与参数重用设计
4.3.1 特征重用
4.3.2 参数重用
4.4 动态自适应模型设计
4.4.1 什么是动态模型
4.4.2 基于提前终止与模块丢弃原理的动态模型
4.4.3 基于注意力感知的动态模型
4.5 卷积乘法操作优化和设计
4.5.1 移位网络
4.5.2 加法网络
4.5.3 移位网络与加法网络结合
4.6 重参数化技巧
4.6.1 网络层合并
4.6.2 分支合并
4.7 新颖算子设计
4.8 低秩稀疏化设计
第5章 模型剪枝
5.1 模型剪枝基础
5.1.1 什么是模型剪枝
5.1.2 模型剪枝的粒度
5.2 模型稀疏学习
5.2.1 权重正则化约束
5.2.2 基于网络结构的设计
5.3 非结构化剪枝技术
5.3.1 基于优化目标的方法
5.3.2 基于权重幅度的方法
5.3.3 向量剪枝技术
5.4 结构化剪枝技术
5.4.1 基于重要性因子的剪枝算法
5.4.2 基于输出重建误差的通道剪枝算法
5.4.3 基于优化目标敏感性的剪枝算法
5.4.4 卷积核剪枝和通道剪枝的差异
5.5 模型剪枝的一些问题
5.5.1 剪枝的必要性
5.5.2 训练策略
5.5.3 整个网络同时剪枝
5.5.4 运行时剪枝
5.6 图像分类模型结构化剪枝实战
5.6.1 模型定义与数据集
5.6.2 模型训练
5.6.3 模型剪枝
5.6.4 残差网络
5.6.5 小结
第6章 模型量化
6.1 模型量化基础
6.1.1 什么是模型量化
6.1.2 量化的优势
6.2 二值量化算法
6.2.1 基于阈值映射函数的方法
6.2.2 基于重建误差的方法
6.2.3 从二值量化模型到三值量化模型
6.2.4 二值量化的主要问题
6.3 8bit量化
6.3.1 基于变换函数的非对称量化
6.3.2 基于信息损失的对称量化
6.4 混合精度量化算法
6.4.1 一般混合精度量化算法
6.4.2 自动位宽学习
6.5 半精度浮点数训练算法
6.6 模型量化的一些其他问题
6.6.1 非均匀量化
6.6.2 更稳定地训练量化模型
6.6.3 量化训练与离线量化的比较
6.7 基于TensorRT框架的模型量化推理实践
6.7.1 项目简介
6.7.2 量化算法实现
6.7.3 TensorRT模型量化与推理
第7章 迁移学习与知识蒸馏
7.1 迁移学习与知识蒸馏基础
7.1.1 迁移学习的基本概念
7.1.2 知识蒸馏的基本概念
7.2 基于优化目标驱动的知识蒸馏
7.2.1 预训练大模型框架
7.2.2 大模型与小模型共同学习框架
7.2.3 小结
7.3 基于特征匹配的知识蒸馏
7.3.1 基本框架
7.3.2 注意力机制的使用
7.4 自蒸馏框架
7.4.1 深度协同学习
7.4.2 自监督学习
7.4.3 自进化学习
7.5 知识蒸馏的一些问题
7.5.1 教师模型是否越强越好
7.5.2 学生模型与教师模型的相互学习
7.6 基于经典知识蒸馏的图像分类实战
7
展开
