使用tensorflow或s对输入数据进行排队

Question

我用DataFeeder训练一个神经网络，它有点慢（因为它从h5文件读取不连续的数据）；因此GPU有一半时间空闲（GPU Util为0%）。在

在TensorFlow或skflow中，有没有办法让多个DataFeeder并行运行，以避免这个瓶颈？在

Answer 1

Tensorflow具有^（a1}），可以并行（和C++）读取和队列数据。这应该可以消除您所说的瓶颈。在

我们正在（本周/下周）添加它对的支持学习（skflow的新名称）使其易于使用。您仍然需要将数据转换为读取器支持的格式之一（固定长度向量，示例proto）。在

如果您想让它自己工作-您可以创建一个单独的数据馈送器，它将在input_builder函数中使用来自reader库的ops，并在get_feed_dict_fn中返回no op。在