擅长:python、mysql、java
<p>做这个。在</p>
<p>使用<code>multiprocessing</code>。<a href="http://docs.python.org/library/multiprocessing.html" rel="nofollow">http://docs.python.org/library/multiprocessing.html</a>。在</p>
<ol>
<li><p>编写一个worker <code>Process</code>,它将所有URL放入<code>Queue</code>。</p></li>
<li><p>编写一个worker <code>Process</code>,它从<code>Queue</code>获取一个URL并执行GET,保存一个文件并将文件信息放入另一个队列中。您可能需要此<code>Process</code>的多个副本。你得做个实验,找出多少才是正确的数字。</p></li>
<li><p>编写一个worker <code>Process</code>,它从<code>Queue</code>读取文件信息,并执行您正在尝试执行的任何操作。</p></li>
</ol>