哪些方法可以减少深度学习的梯度消失问题？
A: 减少网络深度
B: 预训练+微调
C: 使用ReLU激活函数
D: 使用Sigmoid激活函数
A: 减少网络深度
B: 预训练+微调
C: 使用ReLU激活函数
D: 使用Sigmoid激活函数
举一反三
- 关于ReLU和Sigmoid激活函数，在深度神经网络的中间层，建议使用ReLU。
- 以下哪些激活函数容易产生梯度消失问题？（） A: ReLU B: Softplus C: Tanh D: Sigmoid
- 关于激活函数以下说法正确的是？（） A: sigmoid函数在深度神经网络中梯度反向传递时容易导致梯度消失 B: tanh函数对于规模比较大的深度网络计算速度比较慢 C: ReLU函数计算速度和收敛速度都比tanh/sigmoid快 D: ReLU函数的正区间存在梯度消失的问题
- 关于ReLU和Sigmoid激活函数，在深度神经网络的中间层，建议使用ReLU。 A: 正确 B: 错误
- 下面关于Relu和Sigmoid激活函数说法错误的是 A: Relu激活函数相比于Sigmoid激活函数计算更简单 B: Relu激活函数是一种线性的激活函数 C: Sigmoid激活很容易出现梯度消失的情况 D: Relu减少了参数间的相互依存关系，缓解了过拟合问题的发生