擅长:python、mysql、java
<p>@instete,看看<a href="https://github.com/scalingexcellence/scrapybook/blob/master/ch05/generic/generic/spiders/fromcsv.py" rel="nofollow">this</a>漂亮的小蜘蛛。它读取<a href="https://github.com/scalingexcellence/scrapybook/blob/master/ch05/generic/todo.csv" rel="nofollow">this</a>CSV文件,并对页面进行通用解析。以此为起点,将CSV文件读取更改为数据库读取。很可能您没有1000个url,因此只需要从数据库中读取一次,并将XPath表达式存储在内存中。有帮助吗?你知道吗</p>