如何避免溢出数字.exp()

Question

我读了很多关于堆栈溢出的文章，但是我仍然不明白如何避免溢出错误。我正在建立一个使用sigmoid function的神经网络。 但我不能不转换或找到解决这些错误的方法。在

def activation(x):
    return  1/(1+np.exp(-x))

  def dactivation(x):
    return  activation(x)*(1-activation(x))


  def propagateb(self, target, lrate=8.1, momentum=0.1):
        deltas = []
        error = target - self.layers[-1]
        delta = error*dactivation(self.layers[-1])
        deltas.append(delta)
        for i in range(len(self.shape)-2,0,-1):
            delta =np.dot(deltas[0],self.weights[i].T)*dactivation(self.layers[i])
            deltas.insert(0,delta)
        for i in range(len(self.weights)):
            layer = np.atleast_2d(self.layers[i])
            delta = np.atleast_2d(deltas[i])
            dw = np.dot(layer.T,delta)
            self.weights[i] += lrate*dw + momentum*self.dw[i]
            self.dw[i] = dw

        # Return error
        return (error**2).sum()

提高

^{pr2}$

Answer 1

SciPy comes with a function to do that，它不会给你这个警告：

scipy.special.expit(x)