擅长:python、mysql、java
<p>您的<code>_file_stripper</code>函数将无休止地添加到<code>myfile</code>列表中,而不必重置列表:</p>
<pre><code>def _file_stripper(tot_file):
try:
myfile = []
for rows in tot_file:
if not 'GROUP_FILENAME' in rows:
myfile.append(rows)
else:
myfile.append(rows)
yield myfile
except Exception:
pass
</code></pre>
<p>请注意,<code>myfile</code>是在循环之外设置的,每一行都以<code>myfile</code>为前缀,然后按原样生成。因此,进程内存占用将不断增长,迫使操作系统最终开始交换内存,从而使进程缓慢爬行。在</p>
<p>我想你是想重置<code>myfile</code>,而<code>GROUP_FILENAME</code>没有出现在<code>rows</code>中:</p>
^{pr2}$