大容量易失性存储器文件字节的读取和处理

Question

我目前正在使用python处理belkasoft、ftk imager等应用程序创建的内存转储，它们通常是.mem或.dmp的扩展名，其形式如下：

53 FF 00 F0 53 FF 00 

我想把这些数据可视化，比如用热图或者曲线来可视化每个字节。如果是2GB文件，则为2147483648字节。 您如何读取和处理这类大于等于2GB的大文件

我一直在尝试类似的东西：

^{pr2}$

做了一些计算，但速度慢得令人痛苦 我也试着一行一行地读文件，速度很快，但是再次读取每一行的字节数和进行一些转换也非常慢。 我也读过一些关于numpy loadtxt的文章，但是没有做太多的实验，我想先问一下。在

有什么想法适合这种情况，使之更有效？在

非常感谢

Answer 1

读取大文件的常用方法是使用mmap。文件内容映射到进程内存空间，您可以通过从RAM读取数据来访问它。操作系统负责将所需的数据加载到RAM中。这与交换文件的工作原理类似。操作系统知道数据在一个文件中，并在您访问它时动态加载它。如果出于其他目的需要内存，操作系统也可以从RAM中卸载数据，因为它总是可以从文件中再次加载数据。在

看看mmappython模块。在