关于神经网络的相关概念，哪个说法是正确的？
A: 对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题
B: ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况
C: RMSProp学习率调整策略引入累积梯度的概念，从而解决学习率过早趋向于0而结束训练
D: 随机梯度下降（SGD）每次更新只随机取一个样本，按照固定学习率计算梯度，所以速度较快
A: 对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题
B: ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况
C: RMSProp学习率调整策略引入累积梯度的概念，从而解决学习率过早趋向于0而结束训练
D: 随机梯度下降（SGD）每次更新只随机取一个样本，按照固定学习率计算梯度，所以速度较快
举一反三
- 关于神经网络的相关概念，说法错误的是哪些？ A: 对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题。 B: ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况。 C: 在神经网络训练中，动态调整学习率综合考虑当前点的梯度、最近几次训练误差的降低情况等效果更好。 D: 随机梯度下降（SGD）每次更新只随机取一个样本，可以按照固定学习率计算梯度，所以速度较快。
- 如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为（） A: 梯度剪切 B: 随机欠采样 C: 使用Relu激活函数 D: 正则化
- 有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 为了提高神经网络的学习速度，以下说法正确的是 A: 从随机梯度下降改为动量梯度下降法，通常是一个不错的尝试 B: 从随机梯度下降改为RMSprop梯度下降法，通常是一个不错的尝试 C: 从随机梯度下降改为Adam梯度下降法，通常是一个不错的尝试 D: 采用学习率衰减的方式，通常是一个不错的尝试
- 下列哪项不属于梯度消失问题的解决手段（） A: 减少层数 B: 减小学习率 C: 增大学习率 D: 用Relu代替sigmoid