将大型pickle文件加载到变量访问硬盘而不是加载到RAM中

2024-09-17 02:02:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个大的pickle文件(大约5GB),其中包含运行模拟所需的数据。这个文件包含3x16万行浮点值。在

with open('Largepicklefile.pkl') as f:  # Python 3: open(..., 'wb')
    datR=pickle.load(f)

我使用这个变量datR作为模拟的一部分。我有16gbram,当我加载这个pickle文件时几乎没有使用,但是它似乎访问硬盘来定期读取文件(从文件时间戳和主要硬盘活动中可以看出)。我希望通过减少硬盘访问来提高模拟速度。如何一次将大的pickle文件直接加载到内存中(或者将大的块加载到内存中),从而使硬盘的访问量最小?在


Tags: 文件数据内存aswith时间loadopen