检查用于请求的IP地址Python/scray+ProxyMesh

Question

我开始用ProxyMesh来治疗瘙痒。ProxyMesh应该在一个端口上提供一个IP地址池。下面的示例代码在一个循环中重复，启用了中间件，总体上运行良好。我能追踪吗（如果是的话-如何追踪？）每个特定请求使用哪个IP地址？在

request = scrapy.Request(producturl, self.parse_product_info)
request.meta['proxy'] = 'http://uk.proxymesh.com:xxx'
yield request

我在SOF上也找到了类似的帖子，但没有提到这个具体的问题。在

Answer 1

与注释中指定的一样，信息来自响应头，只需检查：

def parse_response(self, response):
    print response.headers

您应该看到带有指定代理的X-Proxymesh-Ip头。在

另一种选择是使用crawlera，它提供了更多的特性（如头、会话和cookie处理）和更好的文档。在