解析大型压缩xml文件，python

Question

file  = BZ2File(SOME_FILE_PATH)
p = xml.parsers.expat.ParserCreate()
p.Parse(file)

下面的代码尝试解析用bz2压缩的xml文件。不幸的是，它失败了，并显示一条消息：

TypeError: Parse() argument 1 must be string or read-only buffer, not bz2.BZ2File

有没有一种方法可以动态解析压缩的bz2xml文件？在

注意：p.Parse(file.read())不是这里的选项。我想解析一个大于可用内存的文件，所以我需要一个流。在

Answer 1

你能传入一个mmap（）的文件吗？这样可以自动分页文件所需的部分，避免内存溢出。当然，如果expat构建了一个解析树，它可能仍然会耗尽内存。在

http://docs.python.org/library/mmap.html

Memory-mapped file objects behave like both strings and like file objects. Unlike normal string objects, however, these are mutable. You can use mmap objects in most places where strings are expected; for example, you can use the re module to search through a memory-mapped file.