前建峰，江南大学机械工程学院教授，博士生导师。2004年7月毕业于上海交通大学机械与动力工程学院，获机械电子工程专业工学博士学位。中国机械工业教育协会机器人工程专业委员、中国电机工程学会会员、中国化工学会过滤与分离专业委员会委员、中国食品加工机械标准化技术委员。曾获2023年中国轻工业联合会科学技术奖一等奖(排名第一)江苏省科技进步三等奖2项(排第三)、2020年江苏省普通高等学校本科优秀毕业设计(论文)指导教师、2019年度江南大学荣智权奖教金。讲授《嵌入式系统与人工智能》《过程设备设计》《机械有限元设计》等课程。主要研究领域为机器人运动控制、嵌入式传感系统高压脉冲电源、工业互联与控制。主持或参加各类科研课题30余项，授权国家发明专利43项，出版著作6部。

智能机器人发展日新月异，相关的机器学习技术受到广泛关注。本书以其中关键的深度学习理论与实践为主线，系统介绍了机器智能、机器学习和神经网络的概念与算法；机器学习的参数及其拟合和欠拟合的问题；神经网络等数学模型；卷积神经网络模型；循环神经网络；注意力机制以及深度学习的算法；基于深度学习的人机协作识别、动作抓取、平面检测等应用知识。
本书适宜从事机械、自动控制等智能机器人相关专业的技术人员参考，也可作为相关专业的本科教材。

第一章绪论1
1.1自然智能与机器智能1
1.1.1自然智能1
1.1.2机器智能3
1.2机器获取知识的途径：机器学习5
1.2.1机器学习的概念5
1.2.2基本机器学习模型6
1.3机器认知智能的实现途径：神经网络10
1.3.1生物神经网络10
1.3.2人工神经网络与神经元模型12
1.4深度学习的前沿发展及其应用15
1.4.1深度学习15
1.4.2大语言模型16
1.4.3ChatGPT：智能对话机器人18
1.4.4OpenAI Codex：代码生成与辅助编程19
1.5深度学习与智能机器人21
1.5.1智能机器人的定义与目标21
1.5.2智能机器人与工业机器人的区别22
1.5.3智能机器人的环境多模态感知23
1.6本章小结27

第二章机器学习的数学基础28
2.1标量、向量、矩阵和张量28
2.2矩阵和向量相乘32
2.2.1矩阵和向量相乘的规则32
2.2.2矩阵和向量相乘的性质32
2.2.3矩阵乘法的计算方法33
2.2.4矩阵乘法在神经网络中的应用33
2.3导数34
2.3.1一般运算法则35
2.3.2链式求导法则36
2.4度量标准39
2.4.1误差39
2.4.2距离39
2.4.3相似度40
2.5概率分布43
2.5.1二项分布44
2.5.2正态分布45
2.6本章小结46

第三章机器学习的构成及理论基础48
3.1机器学习基础概念48
3.1.1人类学习与机器学习48
3.1.2机器学习的研究内容49
3.1.3机器学习系统的基本构成50
3.2机器学习的分类52
3.2.1监督学习53
3.2.2半监督学习54
3.2.3无监督学习54
3.2.4强化学习56
3.3机器学习的重要参数56
3.3.1学习率56
3.3.2动量系数57
3.3.3偏置项58
3.4拟合问题59
3.4.1过拟合问题59
3.4.2欠拟合问题60
3.5交叉验证60
3.5.1数据类型与选择方法61
3.5.2留一交叉验证62
3.5.3K折交叉验证62
3.6回归分析63
3.6.1线性回归63
3.6.2逻辑回归66
3.7评价指标69
3.8本章小结71

第四章神经网络构成及理论基础72
4.1神经网络概述72
4.1.1深度学习和神经网络间的关系74
4.1.2神经网络的深度和宽度74
4.2常见的神经网络类型75
4.2.1全连接神经网络75
4.2.2卷积神经网络76
4.2.3循环神经网络77
4.3神经网络设计的核心问题78
4.3.1定义神经网络结构79
4.3.2选择损失函数79
4.3.3选择激活函数79
4.4神经网络最优化过程82
4.4.1梯度下降算法82
4.4.2正向传播算法86
4.4.3反向传播算法87
4.4.4BP神经网络88
4.5其他神经网络与深度学习91
4.5.1生成对抗网络91
4.5.2深度信念网络93
4.5.3迁移学习95
4.6PyTorch和PaddlePaddle简介97
4.6.1PyTorch98
4.6.2PaddlePaddle103
4.7本章小结105

第五章卷积神经网络107
5.1卷积神经网络概述107
5.1.1发展历程和实际应用107
5.1.2基本组成111
5.2卷积神经网络的特征116
5.2.1连接稀疏性116
5.2.2参数共享机制117
5.3卷积神经网络中的反向传播算法118
5.4其他卷积方式119
5.4.1转置卷积119
5.4.2空洞卷积122
5.4.3分组卷积和深度分离卷积122
5.5卷积神经网络的典型模型125
5.5.1LeNet-5125
5.5.2AlexNet126
5.5.3VGGNet127
5.5.4GoogLeNet137
5.5.5ResNet148
5.5.6MobileNet和ShuffleNet161
5.5.7MMDetection框架搭建并实现训练与测试169
5.6本章小结179

第六章循环神经网络181
6.1循环神经网络概述181
6.1.1背景181
6.1.2概念182
6.1.3基本结构182
6.2循环神经网络分类184
6.2.1单向循环神经网络184
6.2.2双向循环神经网络185
6.2.3深度循环神经网络186
6.3模型训练与优化187
6.3.1随时间反向传播算法188
6.3.2实时循环学习算法188
6.4长短时记忆网络190
6.4.1原理讲解190
6.4.2代码讲解191
6.5递归神经网络200
6.5.1原理讲解200
6.5.2代码讲解202
6.6门控循环单元网络207
6.6.1原理讲解207
6.6.2代码208
6.7本章小结208

第七章注意力机制与外部记忆210
7.1认知神经学中的注意力210
7.2注意力机制211
7.2.1注意力机制原理211
7.2.2注意力机制的变体212
7.3自注意力机制215
7.3.1自注意力机制原理215
7.3.2Transformer217
7.4人脑中的记忆219
7.5记忆增强神经网络221
7.5.1外部记忆221
7.5.2端到端记忆网络222
7.5.3神经图灵机223
7.6计算机视觉中的注意力机制225
7.6.1计算机视觉中的注意力机制发展历程225
7.6.2通道注意力机制227
7.6.3空间注意力机制229
7.6.4时间注意力机制232
7.6.5分支注意力机制234
7.6.6通道和空间注意力机制236
7.6.7时空注意力机制239
7.6.8注意力模块添加的案例介绍242
7.7本章小结256

第八章深度学习调优方法258
8.1数据方面258
8.1.1数据清洗258
8.1.2数据增强263
8.1.3数据降噪266
8.1.4数据归一化269
8.2模型结构方面271
8.2.1注意力机制271
8.2.2特征金字塔271
8.2.3残差结构272
8.2.4确定网络层数273
8.3模型参数方面275
8.3.1学习率调整275
8.3.2参数初始化277
8.3.3网络正则化278
8.3.4预训练模型的迁移学习282
8.4本章小结283

第九章智能机器人的视觉感知方法与视觉处理技术285
9.1经典的视觉感知方案285
9.1.1视觉信息获取285
9.1.2视觉显著性检测286
9.1.3光学系统的设计287
9.2视觉感知的传统处理方法292
9.2.1图像处理基础292
9.2.2传统的图像特征提取293
9.2.3传统的目标检测和识别295
9.3基于机器学习的视觉感知方法296
9.3.1集成学习296
9.3.2局部二值模式299
9.3.3特征点匹配方法301
9.3.4方向梯度直方图303
9.3.5支持向量机305
9.4基于深度学习的视觉感知方法307
9.4.1经典的视觉感知网络结构307
9.4.2基于深度学习的目标感知307
9.5面向少量样本学习的视觉感知方法309
9.5.1孪生神经网络309
9.5.2零样本学习309
9.6本章小结311

第十章智能机器人的定位与导航规划技术313
10.1地图表示与构建313
10.1.1地图表示313
10.1.2地图构建317
10.2移动机器人定位319
10.2.1传感器技术319
10.2.2定位方法320
10.3导航规划321
10.3.1导航技术322
10.3.2规划技术324
10.4机器人运动控制327
10.4.1PID控制327
10.4.2模型预测控制328
10.4.3轨迹追踪329
10.5多AGV任务调度及路径规划技术329
10.5.1AGV调度系统任务描述330
10.5.2AGV任务调度功能331
10.5.3AGV的路径规划算法332
10.5.4多AGV的冲突和避障算法335
10.6本章小结336

第十一章基于深度学习的表面缺陷检测技术337
11.1表面缺陷检测技术研究337
11.1.1研究背景与意义337
11.1.2国内外研究现状338
11.2基于机器视觉的表面缺陷检测技术342
11.2.1机器视觉中的图像处理技术342
11.2.2基于机器视觉的表面缺陷检测过程345
11.2.3基于深度学习的表面缺陷检测技术348
11.3具体案例：液晶面板电极缺陷检测技术352
11.3.1液晶面板电极缺陷353
11.3.2基于深度学习的液晶面板电极缺陷检测方法356
11.3.3实验结果和性能评估366
11.4本章小结372

第十二章基于深度学习的人机协作动作识别373
12.1人机协作动作识别技术研究373
12.1.1研究背景与意义373
12.1.2国内外研究现状374
12.1.3动作识别模型375
12.2人机协作应用376
12.2.1动作识别技术在人机协作中的应用376
12.2.2动作识别技术在虚拟现实领域中的应用377
12.3人机协作中的动作识别问题378
12.3.1动作识别问题定义378
12.3.2动作特征的提取379
12.3.3动作识别模型的构建381
12.3.4人机协作场景中的动作识别383
12.4具体案例：基于深度学习的动作识别384
12.4.1动作视频采集设备的选择384
12.4.2环境设置和数据采集384
12.4.3数据处理386
12.4.4模型训练386
12.4.5动作识别模型的性能评估389
12.5前沿拓展：基于肌电信号及脑机设备的动作识别390
12.6本章小结391

第十三章基于深度学习的机器人视觉抓取392
13.1研究背景及意义392
13.1.1机器人视觉抓取技术应用392
13.1.2机器人视觉抓取技术发展393
13.2深度学习在机器人视觉抓取中的应用及研究现状395
13.2.1目标检测定位396
13.2.2位姿估计397
13.2.3抓取点检测397
13.3基于深度学习的机器人视觉抓取问题描述398
13.3.1机器人抓取任务分类398
13.3.2机器人抓取位姿表示399
13.3.3抓取检测数据集400
13.4机器人视觉系统标定与坐标转换403
13.4.1相机成像原理403
13.4.2相机标定406
13.4.3手眼标定406
13.5具体实例：抓取位姿检测408
13.5.1判别式抓取检测408
13.5.2生成式抓取检测410
13.5.3从零开始训练抓取检测模型：GGCNN415
13.6基于深度学习的机器人视觉抓取技术挑战和未来发展方向422
13.7本章小结423

参考文献424