以下说法正确的是哪些？
A: 使用ReLU做为激活函数，可有效地防止梯度爆炸
B: 使用Sigmoid做为激活函数，较容易出现梯度消失
C: 使用Batch Normalization层，可有效地防止梯度爆炸
D: 使用参数weight decay，在一程度上可防止模型过拟合
A: 使用ReLU做为激活函数，可有效地防止梯度爆炸
B: 使用Sigmoid做为激活函数，较容易出现梯度消失
C: 使用Batch Normalization层，可有效地防止梯度爆炸
D: 使用参数weight decay，在一程度上可防止模型过拟合
举一反三
- 下面关于Relu和Sigmoid激活函数说法错误的是 A: Relu激活函数相比于Sigmoid激活函数计算更简单 B: Relu激活函数是一种线性的激活函数 C: Sigmoid激活很容易出现梯度消失的情况 D: Relu减少了参数间的相互依存关系，缓解了过拟合问题的发生
- 哪些方法可以减少深度学习的梯度消失问题？ A: 减少网络深度 B: 预训练+微调 C: 使用ReLU激活函数 D: 使用Sigmoid激活函数
- 以下哪些激活函数容易产生梯度消失问题？（） A: ReLU B: Softplus C: Tanh D: Sigmoid
- 如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为（） A: 梯度剪切 B: 随机欠采样 C: 使用Relu激活函数 D: 正则化
- 以下哪个激活函数可以很好地解决梯度消失问题？（） A: Relu B: Tanh C: Softsign D: Sigmoid