下列属于神经网络优化器的有？ A: SGD B: AdaGrad C: RMSProp D: Adam

下列______算法中，学习率随着迭代次数的增加而单调减小。 A: AdaGrad B: RMSprop C: AdaDelta D: Adam

为了提高神经网络的学习速度，以下说法正确的是 A: 从随机梯度下降改为动量梯度下降法，通常是一个不错的尝试 B: 从随机梯度下降改为RMSprop梯度下降法，通常是一个不错的尝试 C: 从随机梯度下降改为Adam梯度下降法，通常是一个不错的尝试 D: 采用学习率衰减的方式，通常是一个不错的尝试

关于神经网络的相关概念，哪个说法是正确的？ A: 对激活函数的输出结果进行范围限定，有助于梯度平稳下降，而ReLU输出范围无限的函数会导致梯度消失问题 B: ReLU函数中所有负值均被截断为结果0，从而导致特征丢失，可适当调高学习率避免此类情况 C: RMSProp学习率调整策略引入累积梯度的概念，从而解决学习率过早趋向于0而结束训练 D: 随机梯度下降（SGD）每次更新只随机取一个样本，按照固定学习率计算梯度，所以速度较快