如何在Python中使用mmap，当整个文件太大时

Question

我有一个python脚本，它逐行读取一个文件，并查看每一行是否与正则表达式匹配。

我想通过在搜索之前使用内存映射文件来提高该脚本的性能。我已经研究了mmap示例：http://docs.python.org/2/library/mmap.html

我的问题是，当文件太大（15GB）而无法存储我的计算机（4GB）时，我如何才能命令它

我读了这个文件：

fi = open(log_file, 'r', buffering=10*1024*1024)

for line in fi: 
    //do somemthong

fi.close()

由于我将缓冲区设置为10MB，在性能方面，它是否与MMAP10MB文件相同？

谢谢你。

Answer 1

我是来尝试使用mmap的，因为我在一个大小为几十GB的文件上使用了fileh.readline()，并希望使它更快。Unix strace实用程序似乎揭示了文件现在是以4kB的块读取的，至少strace的输出在我看来打印得很慢，我知道解析文件需要很多小时。

$ strace -v -f -p 32495
Process 32495 attached
read(5, "blah blah blah foo bar xxxxxxxxx"..., 4096) = 4096
read(5, "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"..., 4096) = 4096
read(5, "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"..., 4096) = 4096
read(5, "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"..., 4096) = 4096
^CProcess 32495 detached
$

到目前为止，这个线程是唯一解释我不应该试图mmap一个太大的文件的原因。我不明白为什么还没有像mmap_for_dummies(filename)这样的帮助函数，它可以在os.path.size（filename）内部执行，然后执行普通的open(filename, 'r', buffering=10*1024*1024)或执行mmap.mmap(open(filename).fileno())。我当然想避免自己修改滑动窗口方法，但是函数是否做一个简单的决定，是否做mmap对我来说就足够了。

最后要提的是，我仍然不清楚为什么互联网上的一些例子没有解释就提到open(filename, 'rb')（例如https://docs.python.org/2/library/mmap.html）。如果有人经常想在for循环中使用带有.readline()调用的文件，我不知道是应该以'rb'模式打开还是只以'r'模式打开（我想有必要保留'\n'）。

感谢您提到buffering=10*1024*1024)参数，这可能比更改代码以获得某种速度更有帮助。