我一直在尝试使用iterparse来减少需要处理大型XML文档的脚本的内存占用。这里有一个例子。我编写了这个简单的脚本来读取一个TMX文件,并将它分割成一个或多个输出文件,不超过用户指定的大小。尽管使用了iterparse,但当我将886MB的文件拆分为100MB的文件时,脚本会耗尽所有可用内存(使用8MB中的6.5时,它会变得非常缓慢)。在
我做错什么了吗?为什么内存使用率这么高?在
#! /usr/bin/python
# -*- coding: utf-8 -*-
import argparse
import codecs
from xml.etree.ElementTree import iterparse, tostring
from sys import getsizeof
def startNewOutfile(infile, i, root, header):
out = open(infile.replace('tmx', str(i) + '.tmx'), 'w')
print >>out, '<?xml version="1.0" encoding="UTF-8"?>'
print >>out, '<!DOCTYPE tmx SYSTEM "tmx14.dtd">'
print >>out, roottxt
print >>out, headertxt
print >>out, '<body>'
return out
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('-m', '--maxsize', dest='maxsize', required=True, type=float, help='max size (in MB) of output files')
parser.add_argument(dest='infile', help='.tmx file to be split')
args = parser.parse_args()
maxsize = args.maxsize * 1024 * 1024
nodes = iter(iterparse(args.infile, events=['start','end']))
_, root = next(nodes)
_, header = next(nodes)
roottxt = tostring(root).strip()
headertxt = tostring(header).strip()
i = 1
curr_size = getsizeof(roottxt) + getsizeof(headertxt)
out = startNewOutfile(args.infile, i, roottxt, headertxt)
for event, node in nodes:
if event =='end' and node.tag == 'tu':
nodetxt = tostring(node, encoding='utf-8').strip()
curr_size += getsizeof(nodetxt)
print >>out, nodetxt
if curr_size > maxsize:
curr_size = getsizeof(roottxt) + getsizeof(headertxt)
print >>out, '</body>'
print >>out, '</tmx>'
out.close()
i += 1
out = startNewOutfile(args.infile, i, roottxt, headertxt)
root.clear()
print >>out, '</body>'
print >>out, '</tmx>'
out.close()
在相关问题中找到答案:Why is elementtree.ElementTree.iterparse using so much memory?
一个人不仅需要根。清除(),但是节点.清除()在for循环的每次迭代中。但是,由于我们同时处理开始和结束事件,因此需要注意不要过早删除tu节点:
相关问题 更多 >
编程相关推荐