为什么在tensorflow中使用multigpu时，GPU内存使用会有很大不同？

Question

我用的是Tensorflow 1.4.0，两个GPU训练。在

为什么两个gpu的内存使用量大不相同？以下是gpu情况：

+-------------------------------+----------------------+----------------------+
|   4  Tesla K80           On   | 00000000:00:1B.0 Off |                    0 |
| N/A   50C    P0    70W / 149W |   8538MiB / 11439MiB |    100%   E. Process |
+-------------------------------+----------------------+----------------------+
|   5  Tesla K80           On   | 00000000:00:1C.0 Off |                    0 |
| N/A   42C    P0    79W / 149W |   4442MiB / 11439MiB |     48%   E. Process |
+-------------------------------+----------------------+----------------------+

GPU4中使用的Gpu内存是GPU5的两倍。我认为两个gpu中使用的gpu内存应该是差不多的。为什么会出现这种情况？有人帮我吗？谢谢！在

以下是计算平均坡度的代码和两个函数：

^{pr2}$

Answer 1

多gpu代码来自：multigpu_cnn.py。原因是第124行，with tf.device('/cpu:0'):丢失了！在这种情况下，所有操作都放在GPU0上。所以gpu0上的内存开销比其他的要大得多。在