我试图重用双向LSTM权重进行2个非常相似的计算,但我得到了一个错误,不知道我做错了什么。 我有一个基本模块的课程:
class BasicAttn(object):
def __init__(self, keep_prob, value_vec_size):
self.rnn_cell_fw = rnn_cell.LSTMCell(value_vec_size/2, reuse=True)
self.rnn_cell_fw = DropoutWrapper(self.rnn_cell_fw, input_keep_prob=self.keep_prob)
self.rnn_cell_bw = rnn_cell.LSTMCell(value_vec_size/2, reuse=True)
self.rnn_cell_bw = DropoutWrapper(self.rnn_cell_bw, input_keep_prob=self.keep_prob)
def build_graph(self, values, values_mask, keys):
blended_reps = compute_blended_reps()
with tf.variable_scope('BasicAttn_BRNN', reuse=True):
(fw_out, bw_out), _ =
tf.nn.bidirectional_dynamic_rnn(self.rnn_cell_fw, self.rnn_cell_bw, blended_reps, dtype=tf.float32, scope='BasicAttn_BRNN')
然后,在构建图形时调用模块
attn_layer_start = BasicAttn(...)
blended_reps_start = attn_layer_start.build_graph(...)
attn_layer_end = BasicAttn(...)
blended_reps_end = attn_layer_end.build_graph(...)
但是我得到的错误是TensorFlow不能重用RNN
ValueError: Variable QAModel/BasicAttn_BRNN/BasicAttn_BRNN/fw/lstm_cell/kernel does not exist, or was not created with tf.get_variable(). Did you mean to set reuse=tf.AUTO_REUSE in VarScope
有很多代码,所以我删掉了我认为不必要的部分
reuse=True
意味着变量是以前用reuse=False
创建的,因此每个tf.get_variable
(在您的示例中,抽象在LSTM接口后面)都希望变量已经存在要使变量在不存在时被创建,否则被重用,需要设置
reuse=tf.AUTO_REUSE
(如错误消息所示)因此,将所有出现的
reuse=True
替换为reuse=tf.AUTO_REUSE
以下是文档:https://www.tensorflow.org/api_docs/python/tf/variable_scope
相关问题 更多 >
编程相关推荐