擅长:python、mysql、java
<p>因为它是关于web爬行的,所以我将使用<a href="https://scrapy.readthedocs.org" rel="nofollow">Scrapy</a>作为爬行工具和<a href="http://twistedmatrix.com/trac/" rel="nofollow">twisted</a>事件驱动的网络引擎/web框架。<code>Scrapy</code>实际上是在twisted之上构建的,所以这个集合可能是一个不错的选择。在</p>
<p>另外,看看使用非阻塞I/O的<a href="http://www.tornadoweb.org/en/stable/" rel="nofollow">tornado</a>web框架</p>
<p>希望有帮助。在</p>