在Numpy中预处理一个张量流张量

Question

我在Tensorflow建立了一个CNN，我用TFRecordReader读取数据。它工作得很好，但是我想做一些比tf.image函数提供的更多的预处理和数据扩充。我特别想做一些随机对照。在

有可能在Numpy中处理张量流张量吗？还是需要删除TFRecordReader，而是使用feed-dict在Numpy和feed数据中进行所有预处理？我怀疑feed-tu-dict方法在图像训练时很慢，但我可能错了？在

Answer 1

如果您可以使用一个Python线程或一个后续的处理流程，那么可以使用一个或多个自定义的线程/时态流将它们返回到一个Python队列中。生成的程序会稍微复杂一些，但我建议您查看threading and queues HOWTO以了解如何开始使用的信息。在

---

如果您install from source，有一个实验性的特性可能会使这项工作变得更容易。在

如果您已经使用TensorFlow ops构建了一个预处理管道，那么添加一些自定义Python代码的最简单方法是使用^{}运算符，它接受一个Tensor对象的列表，以及一个将一个或多个NumPy数组映射到一个或多个NumPy数组的Python函数。在

例如，假设您有这样一个管道：

reader = tf.TFRecordReader(...)
image_t = tf.image.decode_png(tf.parse_single_example(reader.read(), ...))

…您可以使用tf.py_func()应用一些自定义numy处理，如下所示：

^{pr2}$