Xavier初始化又称为Glorot初始化,它确保所有层的方差尽量相似,从而可以帮助减少梯度消失的问题,使得[br][/br]梯度在神经网络种可以传递得更深。但它出现于ReLU函数之前,因此对ReLU激活函数没有作用。
Xavier初始化又称为Glorot初始化,它确保所有层的方差尽量相似,从而可以帮助减少梯度消失的问题,使得[br][/br]梯度在神经网络种可以传递得更深。但它出现于ReLU函数之前,因此对ReLU激活函数没有作用。
1