如何在Tensorflow中对大规模的tfrecord数据进行充分的洗牌？

Question

假设我们得到了20万张标签为“1”的图片和另外20万张标签为“0”的图片按顺序转换为tensorflow的tfrecord。我试图用tf.train.shuffle_batch()来洗牌tfrecord。问题是，如果没有一个巨大的min_after_dequeue，那么我就不能充分地对数据进行无序处理，而如果没有太大的min_after_dequeue，那么它将耗尽内存。有什么解决方法吗？在

谢谢！在

Answer 1

为此，我建议使用tf.data.Dataset（https://www.tensorflow.org/versions/r1.4/api_docs/python/tf/data/Dataset），利用shuffle转换和{}转换（假设您希望混合使用“1”和“0”标签）。在