《混合神经网络技术（第二版）》：
3.4 BP算法的不足及改进
3.4.1 BP算法的限制与不足
虽然BP算法得到广泛的应用，但它也存在不足，其主要表现在训练过程不确定上，具体如下：
（1）训练时间较长。对于某些特殊的问题，运行时间可能需要几个小时甚至更长，这主要是因为学习率太小所致，可以采用自适应的学习率加以改进。
（2）完全不能训练。训练时由于权值调整过大使激活函数达到饱和，从而使网络权值的调节几乎停滞。为避免这种情况，一是选取较小的初始权值；二是采用较小的学习率。
（3）易陷入局部极小值。BP算法可以使网络权值收敛到一个最终解，但它并不能保证所求为误差超平面的全局最优解，也可能是一个局部极小值。这主要是因为BP算法所采用的是梯度下降法，训练是从某一起始点开始沿误差函数的斜面逐渐达到误差的最小值，故不同的起始点可能导致不同的极小值产生，即得到不同的最优解。如果训练结果未达到预定精度，常常采用多层网络和较多的神经元，以使训练结果的精度进一步提高，但与此同时也增加了网络的复杂性与训练时间。
3.4.2 BP算法改进设计
评价一个神经网络学习算法的优劣可以有很多指标，如学习所需的时间、泛化能力、神经网络的结构复杂性、鲁棒性，即算法的学习参数在很大范围变化时算法是否仍能较好地学习。通常认为BP算法有易陷入局部极小点、收敛速度慢、所设计神经网络的泛化能力不能保证等缺陷。在提高收敛速度和避免局部最小方面，已有许多人进行了研究并提出了很多方法，现将一些主要方法介绍如下。
……
展开
