本书主要讲述了汽车自动驾驶技术概述、深度学习基础及实践、卷积神经网络、网络优化与正则化、目标检测和图像分割CNN模型、注意力机制与Transformer、生成对抗网络、强化学习等内容,以及深度强化学习理论及在自动驾驶领域的工程实践。本书从深度学习入门基础、深度学习高阶技术,到深度学习前沿技术,层层递进提高。本书还基于产教融合和科教融合,将自动驾驶领域产业级工程项目和科研成果转化为教学案例及实践项目。本书可作为自动驾驶、智慧交通、智能电动车辆专业研究生教材,也可以作为高年级本科生教材;由于汽车、交通都与人们生活密切相关,因此本书也适合自动驾驶相关行业以及其他需要了解和掌握深度学习知识的研发人员参考。
前言
第1章汽车自动驾驶技术概述
1.1汽车自动驾驶技术分级及发展现状
1.1.1汽车自动驾驶的分级
1.1.2汽车自动驾驶技术发展现状
1.2汽车自动驾驶技术架构
1.2.1自动驾驶环境感知技术
1.2.2自动驾驶决策规划技术
1.2.3自动驾驶控制执行技术
1.3汽车自动驾驶领域深度学习应用概述
1.3.1深度学习与传统机器学习的区别
1.3.2深度学习的研究及应用进展
1.3.3深度学习在自动驾驶环境感知中的应用
1.3.4深度学习在自动驾驶决策规划中的应用
1.3.5深度学习在自动驾驶控制执行中的应用
思考题
第2章深度学习基础及实践
2.1神经网络简介
2.1.1神经网络基本概念
2.1.2单层感知机
2.1.3多层感知机
2.2深度学习理论基础
2.2.1信号前向传播
2.2.2激活函数
2.2.3损失函数
2.2.4优化方法——梯度下降法
2.2.5误差反向传播
2.2.6计算图
2.3深度学习框架
2.3.1TensorFlow
2.3.2PyTorch
2.3.3PaddlePaddle
2.4实践项目:DNN车辆识别项目
2.5实践项目:基于DNN的自动驾驶数据集分类
思考题
第3章卷积神经网络理论及实践
3.1全连接神经网络的问题
3.2卷积神经网络理论基础
3.2.1卷积神经网络基本结构
3.2.2卷积层
3.2.3池化层
3.3典型的卷积神经网络模型
3.3.1LeNet
3.3.2AlexNet
3.3.3VGGNet
3.3.4GoogleNet
3.3.5ResNet
3.4实践项目:CNN斑马线检测项目
3.5实践项目:基于残差网络的自动驾驶数据集分类
思考题
第4章网络优化与正则化
4.1优化方法
4.1.1梯度下降法
4.1.2随机梯度下降
4.1.3Momentum方法
4.1.4Nesterov加速梯度下降
4.1.5自适应学习率方法
4.1.6自适应估计Adam方法
4.2局部最优点问题
4.3参数初始化方法
4.3.1参数初始化方法
4.3.2基于固定方差的参数初始化
4.3.3基于方差缩放的参数初始化
4.3.4正交初始化
4.4数据预处理
4.4.1数据清理
4.4.2数据变换
4.5逐层归一化
4.5.1权重和数据转换下的不变性
4.5.2层归一化的基本原理和特点
4.6超参数优化
4.6.1手动超参数优化
4.6.2自动超参数优化
4.6.3超参数优化的常用工具
4.7网络正则化
4.7.1显式函数正则化方法
4.7.2随机化正则化方法
4.7.3缩小解空间正则化方法
思考题
第5章基于CNN的自动驾驶目标检测理论与实践
5.1目标检测概述
5.1.1目标检测的基本介绍
5.1.2目标检测方法的发展
5.1.3目标检测数据格式与评估指标
5.2两阶段目标检测方法
5.2.1RCNN
5.2.2SPPNet和Fast RCNN
5.2.3Faster RCNN
5.2.4进阶的两阶段算法
5.3单阶段目标检测方法
5.3.1YOLO
5.3.2SSD
5.3.3YOLOv2
5.3.4RetinaNet
5.3.5YOLO后续版本
5.4Anchor Free目标检测方法
5.4.1CornerNet
5.4.2FCOS和CenterNet
5.5自动驾驶目标检测技术应用及案例介绍
5.5.1自动驾驶目标检测技术应用概述
5.5.2自动驾驶障碍物危险等级预测案例介绍
5.6实践项目:基于YOLOv5的自动驾驶数据集目标检测
思考题
第6章基于CNN的自动驾驶场景语义分割理论与实践
6.1图像分割概述
6.1.1图像分割的分类
6.1.2图像分割方法的发展
6.1.3图像分割数据格式与评估指标
6.2FCN全卷积神经网络
6.2.1上采样过程
6.2.2特征融合
6.3U-Net/Seg-Net
6.3.1U-Net网络
6.3.2Seg-Net网络
6.4DeepLab系列
6.4.1DeepLab V1/V2
6.4.2DeepLab V3/V3+
6.5图卷积网络方法
6.5.1图卷积的定义
6.5.2Beyond Grids
6.5.3GloRe
6.5.4GINet
6.6自动驾驶图像分割技术应用及案例介绍
6.6.1自动驾驶图像分割技术应用概述
6.6.2矿区自动驾驶路面特征提取案例介绍
6.7实践项目:基于DeepLab V3+ 的自动驾驶数据集图像分割
思考题
第7章循环神经网络及自动驾驶车辆换道行为预测应用
7.1循环神经网络概述
7.2长期依赖和门控RNN
7.2.1RNN
7.2.2LSTM
7.2.3GRU
7.3深层循环神经网络
7.3.1Deep Transition RNN
7.3.2Deep Output RNN
7.3.3Stacked RNN
7.4双向循环神经网络
7.5结合注意力机制的RNN结构
7.5.1Seq2Seq
7.5.2增加注意力机制的Seq2Seq
7.6基于LSTM网络的车辆换道行为预测
7.6.1自动驾驶车辆换道行为预测应用概述
7.6.2自动驾驶车辆换道行为预测案例介绍
7.7实践项目:基于循环神经网络(GRU/LSTM)的车辆换道预测
思考题
第8章基于Transformer的自动驾驶目标检测理论与实践
8.1Transformer及自动驾驶应用概述
8.1.1注意力机制与Transformer基本概念
8.1.2Transformer在自动驾驶中的应用概述
8.2从编码器-解码器结构到注意力机制
8.3Transformer模型
8.3.1Transformer的输入和输出
8.3.2Transformer的结构组件
8.3.3Transformer模型的训练
8.4Vision Transformer模型
8.4.1Vision Transformer简介
8.4.2Vision Transformer的整体结构
8.5基于Transformer的视觉雷达融合目标检测案例介绍
8.5.1基于图像的特征提取
8.5.2基于点云的特征提取
8.5.3基于图像与点云特征的融合与检测
8.5.4实验验证
8.6实践项目:基于Vision Transformer的矿区自动驾驶场景目标检测
思考题
第9章生成对抗网络及驾驶场景数据生成实践
9.1生成对抗网络概述
9.1.1生成对抗网络基本原理
9.1.2生成对抗网络在自动驾驶领域中的应用概述
9.2生成器与判别器
9.3生成对抗网络的主要分支
9.3.1基本生成对抗网络(Vanilla GAN)
9.3.2条件生成对抗网络(Conditional GAN)
9.3.3卷积生成对抗网络(Deep Convolution GAN)
9.3.4增强生成对抗网络(Adversarial Autoencoder,AAE)
9.4生成扩散模型(Diffusion Model)
9.5实践项目:基于生成对抗网络的城市驾驶场景数据生成
思考题
第10章强化学习理论及自动驾驶应用实践
10.1强化学习概述
10.1.1强化学习简介
10.1.2强化学习分类
10.1.3强化学习在自动驾驶中的应用概述
10.2强化学习基础理论
10.2.1马尔可夫决策过程
10.2.2强化学习算法原理
10.3表格型强化学习方法
10.3.1Q-learning
10.3.2Sarsa
10.4值函数强化学习方法
10.4.1DQN
10.4.2DDQN
10.4.3DRQN
10.5策略梯度强化学习方法
10.5.1actor-critic
10.5.2PPO
10.5.3DDPG
10.5.4TD3
10.5.5SAC
10.6强化学习自动驾驶领域应用案例
10.6.1基于DDPG的无人车智能避障案例
10.6.2基于强化学习的无人驾驶车辆轨迹跟踪控制案例
10.7实践项目:基于强化学习的小车爬坡
思考题
参考文献