替代酸洗文件以快速重新加载

2024-09-27 21:23:04 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试用python中的BeutifulSoup解析大型xml文件。[文件大小约为200MB]。使用lxml解析器,Beutifulsoup仍然需要很长的时间来解析文件(可能需要5分钟),我希望缓存soup以允许将来快速重新加载它。你知道吗

我通常会使用pickle来转储变量以便稍后重新加载,但是我收到了递归错误。我已经尝试根据Hitting Maximum Recursion Depth Using Python's Pickle / cPickle增加递归限制,最初是10000,然后是100000。不幸的是,当设置为更高的值时,这会使python崩溃,更高的递归限制也会带来危险。你知道吗

有没有另一种转储变量的方法,可以让文件快速读回Python?你知道吗


Tags: 文件解析器错误时间xmllxmlpickleusing

热门问题