神经网络偏差训练

Question

我创建了一个神经网络，并尝试对其进行训练，直到我添加了一个偏差。在

根据我在训练时收集到的信息，偏差会调整以上下移动预期输出，权重趋向于一个有助于YHat模拟某些功能的值，因此对于两层网络：

output = tanh(tanh(X0W0 + b0)W1 + b1)

在实践中，我发现W将所有权重设置为接近0，而b几乎与Y的训练输出相呼应。这基本上使输出对训练的数据完美地工作，但是当你给它不同种类的数据时，它总是给出相同的输出。在

这引起了相当大的混乱。我知道偏差的作用是上下移动激活图，但当涉及到训练时，它似乎使整个神经网络的目的变得无关。以下是我的培训方法：

^{pr2}$

以及调整偏差的代码。（注：epsilon是我的训练率，lambda是正规化率）

def adjustWeights(self, err):
    self.__weights = self.__weights - (err * self.__epsilon + self.__lambda * self.__weights)

def adjustBiases(self, err):
    a = np.sum(np.multiply(err, self.localPartialGrad), axis=1) * self.__epsilon
    a.shape = (err.shape[0], 1)
    self.__biases = self.__biases - a

这是我为这个网络做的计算。在

Z0 = X0W0 + b0
X1 = relu(Z0)

Z1 = X1W1 + b1
X2 = relu(Z1)

a = YHat-X2

#Note the second part is for regularisation
loss = ((1/2)*(a^2)) + (lambda*(1/2)*(sum(W1^2) + sum(W2^2))) 

现在是衍生品

dloss/dW1 = -(YHat-X2)*relu'(X1W1 + b1)X1
dloss/dW0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)X0

dloss/db1 = -(YHat-X2)*relu'(X1W1 + b1)
dloss/db0 = -(YHat-X2)*relu'(X1W1 + b1)W1*relu'(X0W0 + b0)

我猜我做错了什么，但我不知道是什么。我试着用以下输入来训练这个网络

X = np.array([[0.0], [1.0], [2.0], [3.0]])
Xnorm = X / np.amax(X)

Y = np.array([[0.0], [2.0], [4.0], [6.0]])
Ynorm = Y / np.amax(Y)

我得到的输出是：

post training:
shape:  (4, 1) 
 [[0.        ]
 [1.99799666]
 [3.99070622]
 [5.72358125]] 

Expected:
 [[0.]
 [2.]
 [4.]
 [6.]] 

看起来很棒。。。在你转发其他内容之前：

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

然后我得到：

shape:  (4, 1) 
 [[0.58289512]
 [2.59967085]
 [4.31654068]
 [5.74322541]]

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]] 

我想“也许这是我听说过的邪恶的‘过度适应’”，于是决定加入一些规则化，但即使这样也不能真正解决问题，为什么从逻辑角度讲，将偏差设置为与输出相等并使权重为零更为合理。。。有人能解释一下我的想法出了什么问题吗？在

这是训练后的网络结构（注意，如果将输出乘以训练Y的最大值，则会得到预期的输出：）

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 3)

[[0.05539559 0.05539442 0.05539159]]

Biases: (4, 1)

[[0.        ]
 [0.22897166]
 [0.56300199]
 [1.30167665]]


==============\Layer  0 :===============


===============Layer  1 :===============

 Weights: (3, 1)

[[0.29443245]
 [0.29442639]
 [0.29440642]]

Biases: (4, 1)

[[0.        ]
 [0.13199981]
 [0.32762199]
 [1.10023446]]


==============\Layer  1 :===============


==========================\NeuralNetwork===========================

图y=2x在x=0处有一个y截距交叉，因此当我们不向上或向下移动图形时，所有的偏差都为0是有意义的。。。正确的？在

谢谢你读到这么远！在

编辑：

这是损失图：

编辑2：

我只是试着用一个权重和输出来做这个，下面是我得到的输出结构：

===========================NeuralNetwork===========================

Layers:

===============Layer  0 :===============

 Weights: (1, 1)

[[0.47149317]]

Biases: (4, 1)

[[0.        ]
 [0.18813419]
 [0.48377987]
 [1.33644038]]


==============\Layer  0 :===============


==========================\NeuralNetwork===========================

对于这个输入：

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

我得到了这个输出：

shape:  (4, 1) 
 [[4.41954787]
 [5.53236625]
 [5.89599366]
 [5.99257962]]

什么时候应该是：

Expected:
 [[4.]
 [6.]
 [8.]
 [10.]] 

注意偏差的问题仍然存在，你会认为在这种情况下，权重是2，偏差是0。在

Answer 1

_{移动了OP问题的答案}

结果我从来没有正确处理过我的训练数据。输入向量：

[[0.0], [1.0], [2.0], [3.0]]

归一化后，我将这个向量除以输入的最大值3，得到

^{pr2}$

对于输入的Y训练向量

[[0.0], [2.0], [4.0], [6.0]]

我愚蠢地决定对这个向量做同样的处理，但是最大值是y6：

^{4}$

所以基本上我是说“嘿，网络，模仿我的输入”。这是我的第一个错误。第二个错误是由于对缩放比例的更多误解。在

虽然1是0.333，0.333*2=0.666，然后乘以y（6）6*0.666=2的最大值，如果我用另一组数据再试一次，请说：

[[2.0], [3.0], [4.0], [5.0]]

2等于2/5=0.4，0.4*2=0.8，乘以5就是2，然而在现实世界中，我们无法知道5是数据集的最大输出，因此我想它可能是Y训练的最大值，也就是6，所以不是2/5=0.4，0.4*2=0.8*5，我做了2/5=0.4，0.4*2=0.8*6=4.8。在

所以我得到了一些奇怪的偏差和权重的行为。所以在基本上摆脱了标准化之后，我可以自由地调整超参数，现在作为基础训练数据的输出：

输入：

X:
 [[0.]
 [1.]
 [2.]
 [3.]] 

我得到这个输出：

shape:  (4, 1) 
 [[0.30926124]
 [2.1030826 ]
 [3.89690395]
 [5.6907253 ]]

对于额外的测试数据（未经培训）：

shape:  (4, 1) 
 [[2.]
 [3.]
 [4.]
 [5.]]

我得到这个输出：

shape:  (4, 1) 
 [[3.89690395]
 [5.6907253 ]
 [7.48454666]
 [9.27836801]]

所以现在我很高兴。我还把我的激活改为漏泄relu，因为它应该更适合线性方程（我认为）。我相信有更多的测试数据和更多的超参数调整，这将是一个完美的配合。谢谢大家的帮助。试着解释我的问题真的能让事情有一个正确的角度。在