2024-09-27 09:23:10 发布
网友
我有一个TensorFlow输入管道,它接受.npz文件,每个文件都包含一个示例。5人一组,我将它们写入TFRecords。这太慢了。慢度是npz的np.load(),对于每个~50MB的文件大约是10秒
.npz
npz
np.load()
因为我将有许多.npz,所以我想并行处理它们。我假设np.load是I/O绑定的。我可以使用async/await语法来加快加载速度吗?(tf.io.TFRecordWriter似乎足够快,可以忽略)。或者你会建议另一种方法吗
np.load
tf.io.TFRecordWriter
目前没有回答
目前没有回答
相关问题 更多 >
编程相关推荐