我的CNN模型在GPU上使用了太多内存。如何在我的CPU内存中托管一些张量？

Question

我正在训练一个有线电视新闻网模型上的nvidiartx2080，它变得越来越大，我现在有一些记忆卡的问题。我读了一些关于这个主题的文章，似乎可以使用Tensorflow在训练期间在CPU内存上托管一些节点，并在需要时在GPU内存中检索它（如http://learningsys.org/nips17/assets/papers/paper_18.pdf）

有什么想法/文件/例子吗

谢谢

Answer 1

没有任何代码是很难帮助的。 通常你可以看看documentation

例如：

with tf.device('/cpu:0'):
  a = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[2, 3], name='a')
  b = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b')

可以在cpu上显式创建变量