装配过程监测是保证产品装配质量和装配效率的关键环节。《装配过程智能监测》应用机器视觉和人工智能技术研究一系列面向装配过程监测的技术和方法，并从装配体监测、装配操作监测和螺栓装配力/力矩监测三个方面开展系统介绍。《装配过程智能监测》共8章，详细阐述人工智能技术基础知识以及基于人工智能的装配过程监测。第1、2章介绍了装配过程监测的基础知识；第3～7章介绍了基于深度学习的装配监测方法，包括像素点特征提取算法、语义分割技术和动作识别技术等；第8章总结《装配过程智能监测》内容，并进行展望。

　　第1章绪论
1.1装配过程监测的意义
装配是指将机械零部件按照一定的技术规范和工艺进行组装的过程。离散型装配和定制化装配是航空航天装备、武器装备等复杂产品装配的主要方式。复杂产品装配多是典型离散型装配，以手工作业为主，具有装配零件与环节多、装配过程复杂、装配周期长等特点。操作人员的装配操作过程是影响产品质量的关键环节，特别是在大批量个性化定制装配中，同一条生产线上产品型号的频繁变化，增加了产品的装配难度，因此监测装配过程，并判断是否存在漏装、错装、装配顺序错误，是保证产品装配质量和装配效率的关键措施。
传统的装配体监测主要靠工人比对装配工艺文件和装配体，判断当前产品的装配步骤。这种方式不仅耗时长，而且需要工人具有较高的专业知识。传统的装配操作过程监测主要采用人工监督和视频回溯的方式，然而管理人员难以在同一时间对所有装配工人监督到位，这就造成装配过程中对人员操作过程监测的缺失。传统的装配力/力矩监测主要依靠各种类型的传感器，通过将这些设备固定在装配流水线或装配工具上，实时监测力/力矩变化，但这类监测方法存在便携性较差、受装配空间限制、易受装配环境影响等问题。
针对上述问题，本书应用计算机视觉、机器学习等技术，通过图像识别、语义分割等方法分析装配体图像，识别已装配的零部件，并监测漏装、错装、装配顺序错误等；采用动作识别、目标检测、姿态估计等技术分析操作人员装配过程的视频信息，判断操作人员装配动作类型，识别视频内零件位置及类型，分析操作人员骨骼节点变化，监测操作人员装配过程；采用可穿戴设备采集人体运动信号，通过神经网络，采用分类或回归的方式估计螺栓装配力/力矩、判断装配连接情况，相比传统安装在装配工具或流水线上的传感器，该方法便携性更高，且受装配空间限制更小。综上，本书的研究成果在离散型装配行业具有广泛的应用价值。
1.2装配过程监测的国内外研究现状
1.2.1装配体监测的研究现状
装配体监测可通过分割装配体深度图像，识别已装配零件，监测漏装、错装、装配顺序错误等。语义分割技术在图像分割领域得到了广泛应用，它是指对图像中每一个像素进行分类，属于同一类的像素被归为一类。图1.1给出了装配体监测示意图，同一个零件上的像素被归为一类并用同一颜色标注。目前，语义分割算法主要分为两类，一类是基于像素点的人工特征提取算法，另一类是基于深度学习的图像分割算法。
1.基于像素点的人工特征提取算法
基于像素点的人工特征提取的语义分割技术，首先需利用像素点特征提取算法提取输入图像所有像素点的特征，然后利用分类器对像素点进行分类，最后根据分类后的像素点生成像素预测图像，即语义分割图像。常见的图像特征及提取算法如下。
1）LBP特征
如图1.2所示，局部二值模式（localbinary pattern，LBP）特征是一种描述图像特征像素点与各个像素点之间的灰度关系的局部特征[1]，LBP算子具有灰度不变和计算简易的特点，被广泛应用于模式识别领域并涌现了大量改进方案。Ojala等[2]针对LBP算子无法提取大尺寸结构纹理特征的问题，提出了扩展的LBP算子，以圆形邻域代替方形邻域；同时针对原始LBP特征存在无旋转不变性的问题，提出了旋转不变性的LBP算子。
多尺度块局部二值模式（multiscaleblock local binary pattern，MB-LBP）[3]算子以矩形邻域内所有像素点灰度值的平均值代替中心像素点的灰度值，将像素点之间的比较扩展到多个像素矩形区域的比较。徐剑等[4]针对LBP算子无法区分邻域像素点与中心像素点相等和邻域像素点大于中心像素点两种情况提出了动态局部二值模式（dynamic local binary pattern，DLBP），将原来的单个LBP值分成了LBP+和LBP–，较好地解决了这个问题。
LBP算子只针对中心像素点与邻域像素点的关系进行了描述，而忽略了邻域像素点之间的关系，为解决此问题，Heikkil.等[5]提出了中心对称局部二值模式（center-symmetric local binary pattern，CS-LBP）算子。胡敏等[6]将LBP与CS-LBP相结合，提出了中心对称局部平滑二值模式（CS-LSBP）。

目录
前言
第1章 绪论 1
1.1 装配过程监测的意义 1
1.2 装配过程监测的国内外研究现状1
1.2.1 装配体监测的研究现状 1
1.2.2 装配操作监测的研究现状.8
1.2.3 螺栓装配力 /力矩监测的研究现状 12
1.3 本书主要内容 16
第2章 人工智能技术基础 19
2.1 随机森林分类器 19
2.1.1 决策树模型 19
2.1.2 随机森林分类器模型20
2.2神经网络技术20
2.2.1 单层感知器 20
2.2.2 全连接神经网络 21
2.2.3 卷积神经网络 24
2.2.4 循环神经网络 27
2.2.5 长短期记忆神经网络 28
2.3 开发平台 30
第3章 深度图像标记样本库构建 32
3.1 合成深度图像标记样本库构建 32
3.2 真实深度图像标记样本库构建 34
3.2.1 Kinect传感器 34
3.2.2 真实深度图像的获取及处理 35
3.2.3 真实深度图像的标记 37
第4章 基于像素点特征提取算法的装配体监测 39
4.1 基于 PX-LBP特征的像素分类 39
4.1.1 PX-LBP特征提取算法 39
4.1.2 随机森林分类器 44
4.1.3 实验及结果分析 45
4.2 基于深度差分特征的像素分类 50
4.2.1 深度差分特征 50
4.2.2 实验及结果分析 54
4.2.3 PX-LBP特征与深度差分特征对比 57
4.3 零件识别及装配监测 60
4.3.1 像素预测图像获取 61
4.3.2 基于深度图像的零件识别 62
4.3.3 基于深度图像的装配监测 64
第5章 基于深度学习的装配体监测 73
5.1 基于多跳跃式全卷积神经网络的装配体深度图像语义分割方法 73
5.1.1 多跳跃式全卷积神经网络.73
5.1.2 实验及结果分析 75
5.2 基于可训练引导滤波器和多尺度特征图的装配体深度图像语义分割方法 81
5.2.1 基于可训练引导滤波器和多尺度特征图的网络结构 81
5.2.2 其他语义分割网络 83
5.2.3 实验相关设置 87
5.2.4 实验及结果分析 88
5.3 基于U-Net的装配体深度图像轻量级语义分割方法 93
5.3.1 U-Net网络结构 93
5.3.2 SKC-UNet+DenseCRF网络结构 94
5.3.3 其他语义分割网络 99
5.3.4 实验相关设置 103
5.3.5 实验及结果分析 104
第6章 基于深度学习的装配操作监测 112
6.1 基于三维卷积神经网络的装配动作监测 112
6.1.1 装配动作监测流程及数据集的建立 112
6.1.2 三维卷积神经网络模型结构 115
6.1.3 基于批量归一化的改进三维卷积神经网络 118
6.1.4 实验及结果分析 120
6.2 基于目标检测的装配工具检测 124
6.2.1 装配工具监测流程 124
6.2.2 目标检测相关模型分析 125
6.2.3 实验及结果分析 128
6.3基于姿态估计的装配动作重复次数检测 133
6.3.1 研究流程 133
6.3.2 姿态估计模型分析 133
6.3.3 实验及结果分析 135
第7章 基于表面肌电图信号的螺栓装配监测 141
7.1 螺栓装配扭矩实验台及数据集建立141
7.1.1 螺栓装配扭矩实验台 141
7.1.2 扭矩分类数据集制作及数据预处理 143
7.1.3 扭矩回归数据集制作及数据预处理 145
7.2基于卷积神经网络的装配扭矩分类粒度估计 148
7.2.1 多粒度分割并行卷积神经网络 148
7.2.2 2D CNN模型 149
7.2.3 实验及结果分析 150
7.3 基于回归神经网络的螺栓装配扭矩监测 159
7.3.1 基于回归神经网络的螺栓装配扭矩监测流程 160
7.3.2 回归神经网络模型 160
7.3.3 实验及结果分析 165
第8章 总结与展望 172
8.1本书总结 172
8.2研究展望 173
参考文献 175