以下会造成梯度消失的激活函数有
A: sigmoid函数
B: ReLU函数
C: tanh函数
D: softplus函数
A: sigmoid函数
B: ReLU函数
C: tanh函数
D: softplus函数
举一反三
- 以下哪些激活函数容易产生梯度消失问题?() A: ReLU B: Softplus C: Tanh D: Sigmoid
- 训练神经网络时,以下哪种激活函数最容易造成梯度消失: ( ) A: tanh B: sigmoid C: ReLU D: leaky ReLU
- 有关循环神经网络激活函数的说法,以下哪个是错误的? A: 取Tanh或Sigmoid函数作为激活函数,做梯度下降时,偏导数是一堆小数在做乘法,容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小,收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 常用的非线性激活函数有Sigmoid、tanh、ReLU等,适合于全连接层的激活函数是( ) A: . Sigmoid B: tanh C: ReLU
- 以下哪个激活函数可以很好地解决梯度消失问题?() A: Relu B: Tanh C: Softsign D: Sigmoid