我正在向我的scrapy程序添加第二个爬行器,我只在这个爬行器中刮取了一个URL,所以我想知道是否有办法在start_URL中设置我的代理和用户代理,或者是否有办法在这个爬行器中设置它们
class LoginSpider(scrapy.Spider):
name = 'login_spider'
start_urls = ['https://www.starcitygames.com/myaccount/']
def parse(self, response):
# login and scrape website
Tags:
相关问题 更多 >
编程相关推荐