我尝试在Keras中使用Hebbian更新实现一个无监督的ANN。我在这里发现了丹·桑德斯做的一个定制的赫比亚图层-https://github.com/djsaunde/rinns_python/blob/master/hebbian/hebbian.py (我希望在这里询问其他人的代码不会太差)
在我发现的在repo中使用这个层的例子中,这个层被用作稠密层/Conv层之间的中间层,但是我希望只使用Hebbian层来构建一个网络。在
在这一实施过程中,有两件关键的事情让我困惑不解:
似乎输入尺寸和输出尺寸必须相同才能使这一层工作。为什么会出现这种情况?我能做些什么使它们变得不同?
为什么权重矩阵的对角线设置为零?它说这是为了“确保没有神经元横向连接到自身”,但我认为连接权重是在前一层和当前层之间,而不是当前层和自身之间。
以下是Hebbian层实现的代码:
from keras import backend as K
from keras.engine.topology import Layer
import numpy as np
import tensorflow as tf
np.set_printoptions(threshold=np.nan)
sess = tf.Session()
class Hebbian(Layer):
def __init__(self, output_dim, lmbda=1.0, eta=0.0005, connectivity='random', connectivity_prob=0.25, **kwargs):
'''
Constructor for the Hebbian learning layer.
args:
output_dim - The shape of the output / activations computed by the layer.
lambda - A floating-point valued parameter governing the strength of the Hebbian learning activation.
eta - A floating-point valued parameter governing the Hebbian learning rate.
connectivity - A string which determines the way in which the neurons in this layer are connected to
the neurons in the previous layer.
'''
self.output_dim = output_dim
self.lmbda = lmbda
self.eta = eta
self.connectivity = connectivity
self.connectivity_prob = connectivity_prob
if self.connectivity == 'random':
self.B = np.random.random(self.output_dim) < self.connectivity_prob
elif self.connectivity == 'zero':
self.B = np.zeros(self.output_dim)
super(Hebbian, self).__init__(**kwargs)
def random_conn_init(self, shape, dtype=None):
A = np.random.normal(0, 1, shape)
A[self.B] = 0
return tf.constant(A, dtype=tf.float32)
def zero_init(self, shape, dtype=None):
return np.zeros(shape)
def build(self, input_shape):
# create weight variable for this layer according to user-specified initialization
if self.connectivity == 'all':
self.kernel = self.add_weight(name='kernel', shape=(np.prod(input_shape[1:]), \
np.prod(self.output_dim)), initializer='uniform', trainable=False)
elif self.connectivity == 'random':
self.kernel = self.add_weight(name='kernel', shape=(np.prod(input_shape[1:]), \
np.prod(self.output_dim)), initializer=self.random_conn_init, trainable=False)
elif self.connectivity == 'zero':
self.kernel = self.add_weight(name='kernel', shape=(np.prod(input_shape[1:]), \
np.prod(self.output_dim)), initializer=self.zero_init, trainable=False)
else:
raise NotImplementedError
# ensure that no neuron is laterally connected to itself
self.kernel = self.kernel * tf.diag(tf.zeros(self.output_dim))
# call superclass "build" function
super(Hebbian, self).build(input_shape)
def call(self, x):
x_shape = tf.shape(x)
batch_size = tf.shape(x)[0]
# reshape to (batch_size, product of other dimensions) shape
x = tf.reshape(x, (tf.reduce_prod(x_shape[1:]), batch_size))
# compute activations using Hebbian-like update rule
activations = x + self.lmbda * tf.matmul(self.kernel, x)
# compute outer product of activations matrix with itself
outer_product = tf.matmul(tf.expand_dims(x, 1), tf.expand_dims(x, 0))
# update the weight matrix of this layer
self.kernel = self.kernel + tf.multiply(self.eta, tf.reduce_mean(outer_product, axis=2))
self.kernel = tf.multiply(self.kernel, self.B)
self.kernel = self.kernel * tf.diag(tf.zeros(self.output_dim))
return K.reshape(activations, x_shape)
在第一次检查时,我希望这个层能够从前一层获取输入,执行一个简单的激活计算(input*weight),根据Hebbian更新更新更新权重(类似于-如果激活是高b/t节点,则增加权重),然后将激活传递到下一层。在
我还希望它能够处理从一层到下一层的节点数量的减少/增加。在
相反,我似乎不明白为什么输入和输出的尺寸必须相同,以及为什么权重矩阵的对角线设置为零。在
代码中(隐式或显式)的哪一个规范要求图层必须是相同的尺寸?在
代码中(隐式或显式)的哪一个规范说明此层的权重矩阵将当前层连接到自身?在
很抱歉,如果这个Q应该被分成2,但看起来它们可能与e/o有关,所以我将它们保留为1。在
如有需要,乐意提供更多细节。在
编辑:意识到当我试图创建一个输出尺寸与输入尺寸不同的图层时,我忘记添加错误消息:
^{pr2}$这将编译不带错误^
model = Sequential()
model.add(Hebbian(input_shape = (256,1), output_dim = 24))
此^将引发错误: 索引器错误:布尔索引与沿维度0的索引数组不匹配;维度为256,但相应的布尔维度为24
好吧,我想我可能已经想好了。有很多小问题,但最大的问题是我需要添加compute_output_shape函数,该函数使层能够修改其输入的形状,如下所述: https://keras.io/layers/writing-your-own-keras-layers/
这里是我所做的所有更改的代码。它可以编译和修改输入形状。请注意,这个层计算层本身内部的权重变化,如果您尝试实际使用层,可能会有一些问题(我仍在熨平这些),但这是一个单独的问题。在
相关问题 更多 >
编程相关推荐