神经网络模型如何在单个层中为每个神经元学习不同的权重？

Question

我对神经网络的工作原理有了一个全面的了解，并提出了一些相互关联的问题，但我无法找到答案

考虑一个隐层前馈神经网络：如果每个隐层神经元的函数相同

a1 = relu (w1x1+w2x2), a2=relu(w3x1+w4x2), ...  

我们如何让模型学习不同的权重值？

我不理解神经元之间手动建立连接的观点。如图Manually established connections between neurons所示，通过这种方式，我们定义了功能的可能功能（即，房屋大小和卧室数量加在一起可能代表房屋可容纳的可能家庭大小）。但是完全连接的网络对我来说没有意义

我得到一个观点，一个完全连接的神经网络应该以某种方式自动定义哪些函数是有意义的，但它是如何做到的

由于无法回答这个问题，我也不明白为什么增加神经元数量会提高模型预测的准确性

Answer 1

我们如何让模型学习不同的权重值？

在训练开始前初始化参数。在完全连接的神经网络的情况下，否则我们将在每个参数上有相同的更新步骤-这就是你的困惑的来源。初始化，无论是随机的还是更复杂的（例如Glorot）都可以解决这个问题

为什么增加神经元数量会提高模型预测的准确性？

这只是部分正确，增加神经元的数量应该会提高你的训练准确性（这对于你的验证和测试性能来说是一个不同的游戏）。通过添加单位，您的模型能够存储额外的信息或将异常值合并到您的网络中，从而提高预测的准确性。考虑一个2D问题（预测某个物业每平方米的房屋奖励）。使用两个参数可以拟合一条直线，使用三个参数可以拟合一条曲线，依此类推，参数越多，曲线越复杂，可以通过每个训练点进行拟合

非常适合深潜——卡帕蒂在斯坦福大学关于计算机视觉的讲座