并行读取numpy*.npz文件(理想情况下使用异步/等待语法)以提高性能

2024-09-27 09:23:10 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个TensorFlow输入管道,它接受.npz文件,每个文件都包含一个示例。5人一组,我将它们写入TFRecords。这太慢了。慢度是npznp.load(),对于每个~50MB的文件大约是10秒

因为我将有许多.npz,所以我想并行处理它们。我假设np.load是I/O绑定的。我可以使用async/await语法来加快加载速度吗?(tf.io.TFRecordWriter似乎足够快,可以忽略)。或者你会建议另一种方法吗


Tags: 文件io示例async管道tftensorflownp

热门问题