如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为（）
A: 梯度剪切
B: 随机欠采样
C: 使用Relu激活函数
D: 正则化
A: 梯度剪切
B: 随机欠采样
C: 使用Relu激活函数
D: 正则化
举一反三
- 神经网络梯度消失、爆炸的问题，常见的解决方法有哪些（）。 A: Xavier和HE初始化 B: 梯度剪切、正则 C: 非饱和激活函数 D: Batchnorm
- 哪些方法可以减少深度学习的梯度消失问题？ A: 减少网络深度 B: 预训练+微调 C: 使用ReLU激活函数 D: 使用Sigmoid激活函数
- 关于激活函数以下说法正确的是？（） A: sigmoid函数在深度神经网络中梯度反向传递时容易导致梯度消失 B: tanh函数对于规模比较大的深度网络计算速度比较慢 C: ReLU函数计算速度和收敛速度都比tanh/sigmoid快 D: ReLU函数的正区间存在梯度消失的问题
- 有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 以下说法正确的是哪些？ A: 使用ReLU做为激活函数，可有效地防止梯度爆炸 B: 使用Sigmoid做为激活函数，较容易出现梯度消失 C: 使用Batch Normalization层，可有效地防止梯度爆炸 D: 使用参数weight decay，在一程度上可防止模型过拟合