递归神经网络中的ReLU函数。权重变为无穷大或Z

Question

我不熟悉机器学习。我读过，对于递归神经网络，ReLU函数比sigmoid函数要好，因为它存在消失梯度问题。在

我试图实现一个非常基本的递归神经网络，有3个输入节点，10个隐藏节点和3个输出节点。在

输入和隐藏节点都有ReLU函数，输出节点有softmax函数。在

然而，当我使用ReLU函数的几个时代（少于10）后，要么误差为0，要么误差无穷大，这取决于权重变化是从原始权重中加上还是减去的。在

weight = weight + gradient_decent #weights hits infinity
weight = weight - gradient decent #weights become 0

也因为它到达无穷大，所以产生了以下误差

^{pr2}$

然而，当我实现sigmoid函数时，错误就很好地解决了。但因为这是一个简单的例子，很好，但是如果我把它用在更大的问题上，我恐怕会碰到消失梯度问题。在

这是由于隐藏节点数量少造成的，如何解决这个问题？如果你需要代码样本，请评论，不要张贴代码，因为它太长。在

谢谢。在

Answer 1

我不认为隐藏节点的数量是问题所在。在

在第一种情况下，由于梯度下降更新错误，权重接近无穷大。相对于权重的损失的梯度表示应该更新权重以增加损失的方向。由于人们（通常）希望最小化它，如果权重朝正方向更新，它们将增加损失，并且很可能导致发散。在

尽管如此，即使假设更新是正确的，我也会认为它更像是错误的初始化/超参数设置，而不是一个严格依赖于ReLU的问题（很明显，ReLU在其正部分爆炸，给出无穷大，而sigmoid饱和，给出1）。在

在第二种情况下，正在发生的是死区ReLU问题，饱和ReLU总是给出相同（零）的输出，并且它不能自我恢复。它的发生有很多原因（例如，错误的初始化，错误的偏差学习），但最有可能的是更新步骤太高。试着降低你的学习率，看看会发生什么。在

如果这不能解决问题，请考虑使用Leaky ReLU版本，也只是为了简单的调试目的。在

关于泄漏ReLU和死ReLU的更多（和更好的解释）细节可以在这里找到：https://datascience.stackexchange.com/questions/5706/what-is-the-dying-relu-problem-in-neural-networks