如何使用会话的权重初始化新会话的权重？

Question

我有一个关于tensorflow的问题； 我的网络结构是固定的，但由于每个案例的一些局部特征，我想用许多不同的案例来训练它；由于输入（不同的情况）是“相似的”，我想使用上一个的训练结果来初始化这个新的学习。 我尝试了以下内容（我简化了我的代码），有人对实现这一点有更好的想法吗？多谢各位

   cae_in = tf.placeholder(tf.float32,(some size))

   cae_out = tf.placeholder(tf.float32,(None,(some size))

   out = some_function(cae_in) 

   loss = tf.reduce_mean(tf.square(out-cae_out))

   optimiser = tf.train.AdamOptimizer(learning_rate=learning_rate).minimize(loss)

   init_op = tf.global_variables_initializer()

   with tf.Session() as sess:
       init_op.run()

       for inx in range(all_cases):
           feed_in = some array[i]
           feed_in2 = some array[i]

           for iteration in range(0,n_iterations):
               sess.run([optimiser], feed_dict = {cae_in: feed_in,cae_out:feed_in2})

Answer 1

在检查点中完成一个会话后，可以尝试保存可训练变量：

saver = tf.train.Saver(tf.trainable_variables())

with tf.Session():
    ...
    saver.save()

并在开始另一次训练之前从该检查点恢复