Xavier初始化又称为Glorot初始化，它确保所有层的方差尽量相似，从而可以帮助减少梯度消失的问题，使得[br][/br]梯度在神经网络种可以传递得更深。但它出现于ReLU函数之前，因此对ReLU激活函数没有作用。
错
举一反三
- He初始化也称为MSRA初始化，是针对神经网络中经常使用的ReLU激活函数的权重初始化方案，其设计的主[br][/br]要目的是（）。 A: 促使所有层的方差尽量相似，从而减少梯度消失的问题 B: 通过加倍权重方差，解决ReLU激活函数丢弃负方向方差造成的信息损失问题 C: 解决不同特征间维度数量级差别较大的问题 D: 打破神经元之间的对称性，使得神经网络可以被学习
- 如果深度学习神经网络出现了梯度消失或梯度爆炸问题我们常用的解决方法为（） A: 梯度剪切 B: 随机欠采样 C: 使用Relu激活函数 D: 正则化
- 关于权值初始化描述错误的有： A: 初始化时让权值不相等，并不能保证网络能够正常的被训练。 B: 有效的初始化方法：使网络各层的激活值和局部梯度的方差在传播过程中尽量保持不同；以保持网络中正向和反向数据流动。 C: Xavier初始化目标：使网络各层的激活值和局部梯度的方差在传播过程中尽量保持一致，即寻找 w 的分布使得输出 y 与输入 z 的方差一致 D: He初始化替换掉了Xavier中效率低下的ReLU函数
- 哪些方法可以减少深度学习的梯度消失问题？ A: 减少网络深度 B: 预训练+微调 C: 使用ReLU激活函数 D: 使用Sigmoid激活函数
- 神经网络梯度消失、爆炸的问题，常见的解决方法有哪些（）。 A: Xavier和HE初始化 B: 梯度剪切、正则 C: 非饱和激活函数 D: Batchnorm
内容
- 0
关于激活函数以下说法正确的是？（） A: sigmoid函数在深度神经网络中梯度反向传递时容易导致梯度消失 B: tanh函数对于规模比较大的深度网络计算速度比较慢 C: ReLU函数计算速度和收敛速度都比tanh/sigmoid快 D: ReLU函数的正区间存在梯度消失的问题
- 1
训练神经网络时，以下哪种激活函数最容易造成梯度消失: （ ） A: tanh B: sigmoid C: ReLU D: leaky ReLU
- 2
下列______可以缓解梯度的消失问题且计算速度快。 A: sigmod激活函数 B: logistic激活函数 C: ReLU激活函数 D: Tanh激活函数
- 3
有关循环神经网络激活函数的说法，以下哪个是错误的？ A: 取Tanh或Sigmoid函数作为激活函数，做梯度下降时，偏导数是一堆小数在做乘法，容易导致网络梯度消失。 B: Tanh函数相对于Sigmoid函数来说梯度较小，收敛速度更快更慢 C: Sigmoid函数相对于Tanh函数来说更容易导致梯度消失 D: ReLU可以减少循环神经网络的梯度消失问题
- 4
下面关于Relu和Sigmoid激活函数说法错误的是 A: Relu激活函数相比于Sigmoid激活函数计算更简单 B: Relu激活函数是一种线性的激活函数 C: Sigmoid激活很容易出现梯度消失的情况 D: Relu减少了参数间的相互依存关系，缓解了过拟合问题的发生