如果使用sigmoid作为神经网络激活函数，由于在BP算法中，误差从输出层反向传播时，在每一层都要乘以该层激活函数的导数，所以可能会遇到前面层比后面层梯度变化更小且慢得多的情况，这种情况被称为__________。（）
A: 梯度消失；
B: 梯度爆炸；
C: 梯度上升；
D: 梯度下降；
A: 梯度消失；
B: 梯度爆炸；
C: 梯度上升；
D: 梯度下降；
举一反三
- 有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 以下说法正确的是哪些？ A: 使用ReLU做为激活函数，可有效地防止梯度爆炸 B: 使用Sigmoid做为激活函数，较容易出现梯度消失 C: 使用Batch Normalization层，可有效地防止梯度爆炸 D: 使用参数weight decay，在一程度上可防止模型过拟合
- 下面有关神经网络梯度消失说法错误的是（） A: 当神经网络的隐层增加时，就容易发生梯度消失问题，表现在靠近输入层的权重难以更新。 B: 网络梯度消失可能导致有些权重难以更新，导致网路训练失败。 C: 网络梯度消失可以通过改变隐层和输出层的神经元激活函数减弱。 D: 网络梯度消失可以通过减少隐层神经元的个数减弱。
- 下列关于激活函数的说法中，错误的是______。 A: 如果激活函数的输出不是以0为均值的，可能会影响收敛速度 B: sigmoid函数存在梯度消失问题 C: 使用logistic函数作为激活函数时，神经网络的输出可以看作概率 D: 使用Tanh函数来代替logistic函数，可以避免梯度消失问题
- 下面哪些情况可能导致神经网络训练失败 A: 梯度消失 B: 梯度爆炸 C: 激活单元死亡 D: 鞍点