基于权重和偏差选择神经元

Question

在一个有2048个神经元的密集层中，每个神经元都与前一层的输出相连接，我们得到：

y = w1*x1 + w2*x2 + .......... + w128*x128

所以总计（128*2048）=262144个参数，2048个偏置向量总计264192（262144+2048）个参数。你知道吗

我需要从2048个得分最高的神经元中选择一个（或前x个神经元）。我该如何做决定？你知道吗

更新： 我得到了上面的形状：128*2048连接和2048偏置。我要找出2048年最有影响力的神经元。我想我应该考虑所有128个权值和每个神经元的偏差，但我不确定我应该如何计算所有权值的最大和？那偏见呢？你知道吗

Answer 1

假设结果张量具有形状res.shape = [batch_size, 2048]：

• 如果你想要输出最高的神经元：

np.argmax(res, axis=-1)

• 如果你想要顶级K神经元：

np.argpartition(res, -K, axis=-1)[:,-K:]