训练过程中神经网络子集权值的确定

Question

最近，我正在考虑创建一个定制的神经网络。基本结构和平常一样，但是我想截断层之间的连接。例如，如果我构建一个有两个隐藏层的网络，我想删除一些权重并保留其他权重，如下图所示： Structure of customized neural networks 抱歉，我不能在这里嵌入图片，只有链接。在

这不是为了避免过度配合而放弃。实际上，剩余重量（连接）是指定和固定的。设计了相应的结构。在

在python中有什么方法可以做到吗？Tensorflow、Pythorch、theano或任何其他模块？在

Answer 1

是的，你可以在tensorflow中这样做。在

在tensorflow代码中会有一些层，如下所示：

m = tf.Variable( [width,height] , dtype=tf.float32  ))
b = tf.Variable( [height] , dtype=tf.float32  ))
h = tf.sigmoid( tf.matmul( x,m ) + b )

你想要的是一些新的矩阵，我们把它叫做kill。它会杀死特定的神经连接。神经连接在m中定义。这是你的新配置

^{pr2}$

你的kill_矩阵是一个由1和0组成的矩阵。为你想保持的每个神经连接插入1，为你想杀死的每个神经连接插入0。在