在开始URL内分配代理和用户代理

2024-06-26 13:43:49 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在向我的scrapy程序添加第二个爬行器,我只在这个爬行器中刮取了一个URL,所以我想知道是否有办法在start_URL中设置我的代理和用户代理,或者是否有办法在这个爬行器中设置它们

class LoginSpider(scrapy.Spider):
    name = 'login_spider'
    start_urls = ['https://www.starcitygames.com/myaccount/']

    def parse(self, response):
        # login and scrape website

Tags: 用户namehttps程序url代理loginurls
1条回答
网友
1楼 · 发布于 2024-06-26 13:43:49
class LoginSpider(scrapy.Spider):
    name = 'login_spider'
    my_urls = ['https://www.starcitygames.com/myaccount/']

    def start_requests(self):
        for url self.my_urls:
            yield Request(url, meta={'proxy': 'YOUR PROXY HERE'})

    def parse(self, response):
        # login and scrape website

相关问题 更多 >