下面哪些情况可能导致神经网络训练失败
A: 梯度消失
B: 梯度爆炸
C: 激活单元死亡
D: 鞍点
A: 梯度消失
B: 梯度爆炸
C: 激活单元死亡
D: 鞍点
举一反三
- 梯度消失和梯度爆炸不会导致下面哪种情况？ A: 梯度消失会导致网络训练变慢 B: 梯度消失使网络性能不佳，分类准确度低 C: 梯度爆炸使网络训练时代价函数震荡，不利于收敛 D: 梯度爆炸会加快网络训练，更易达到最优解
- 神经网络训练容易遇到的问题，不包括 A: 误差反向传播 B: 鞍点问题 C: 梯度消失 D: 梯度爆炸
- 下面有关神经网络梯度消失说法错误的是（） A: 当神经网络的隐层增加时，就容易发生梯度消失问题，表现在靠近输入层的权重难以更新。 B: 网络梯度消失可能导致有些权重难以更新，导致网路训练失败。 C: 网络梯度消失可以通过改变隐层和输出层的神经元激活函数减弱。 D: 网络梯度消失可以通过减少隐层神经元的个数减弱。
- 神经网络梯度消失、爆炸的问题，常见的解决方法有哪些（）。 A: Xavier和HE初始化 B: 梯度剪切、正则 C: 非饱和激活函数 D: Batchnorm
- 有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题