神经网络梯度消失、爆炸的问题，常见的解决方法有哪些（）。
A: Xavier和HE初始化
B: 梯度剪切、正则
C: 非饱和激活函数
D: Batchnorm
A: Xavier和HE初始化
B: 梯度剪切、正则
C: 非饱和激活函数
D: Batchnorm
举一反三
- 如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为（） A: 梯度剪切 B: 随机欠采样 C: 使用Relu激活函数 D: 正则化
- 下面哪些情况可能导致神经网络训练失败 A: 梯度消失 B: 梯度爆炸 C: 激活单元死亡 D: 鞍点
- Xavier初始化又称为Glorot初始化，它确保所有层的方差尽量相似，从而可以帮助减少梯度消失的问题，使得[br][/br]梯度在神经网络种可以传递得更深。但它出现于ReLU函数之前，因此对ReLU激活函数没有作用。
- 有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 下列关于循环神经网络的说法哪个是错误的___ A: 普通RNN容易出现梯度消失问题 B: 普通RNN容易出现梯度爆炸问题 C: LSTM网络结构相对普通RNN网络解决了梯度爆炸问题，但没有很好解决梯度消失问题 D: 循环神经网络RNN和LSTM等模型，则因为其模型结构特点可以更好地应用于时序相关的问题场景