用于递归级联的TensorFlow高效共享内存分配

Question

densenet倾向于在TensorFlow中占用大量内存，因为每个concat操作都存储在单独的分配中。最近的一篇论文Memory-Efficient Implementation of DenseNets演示了通过共享分配可以显著降低内存利用率。这张来自paper+pytorch实现的图像说明了共享内存方法：

如何使用TensorFlow实现这一点？如果不能通过python实现，那么如何在支持CPU和GPU的Op中正确地实现它呢？在

• Pytorch efficient DenseNet implementation
• Keras DenseNet Implementation使用“naive”分配，与TensorFlow后端一起工作。在

我创建了一个TensorFlow Feature Request for necessary allocation functionality。在

Answer 1

内存高效的实现现在可以在以下位置获得：

https://github.com/joeyearsley/efficient_densenet_tensorflow

上述链接的相关功能是：

# Gradient checkpoint the layer
_x = tf.contrib.layers.recompute_grad(_x)