擅长:python、mysql、java
<p>我建议创建一个大的Spider类,然后为各个站点创建子类。我写了一个类似问题的简短回答<a href="https://stackoverflow.com/questions/31623593/scrapy-crawler-creating-a-10-000-spiders-or-one-spider-crawling-10-000-domains/31624331#31624331">here on stackoverflow</a>。在</p>