使用vmtouch的慢速缓存

2024-09-30 06:15:18 发布

您现在位置:Python中文网/ 问答频道 /正文

在Cython中,作为将大型二进制文件读入易失性内存的一部分,我正在使用numpy的memmap。需要对数据进行一些处理,因此我只复制二进制文件的数据部分(1024字节),而忽略作为numpy数组的头(32字节)。正如我所发现的,这个过程在未缓存的文件上花费的时间更长。使用vmtouch缓存每个2GB二进制文件需要约52秒

我想知道是否有任何方法可以更快地缓存文件。 如有任何建议,我们将不胜感激

vmtouch用法:

vmtouch -vt /data/ch01_SOURCE_Binary_20201011_110101.bin
[OOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOOO] 522720/522720

Files: 1
Directories: 0
Touched Pages: 522720 (1G)
Elapsed: 52.403 seconds 

Tags: 文件数据方法内存numpy字节过程时间

热门问题