IP旋转器,用于刮屑器
scrapy-tor-proxy-rotation的Python项目详细描述
刮板转子
此模块的目的是允许通过Tor旋转IP。在安装
通过$str 1}$pip安装的简单方法: {pr 1}配置Tor
您需要设置{str 1}$Tor。首先,安装它: {pr2}停止执行以执行设置:
{pr 3}以root用户身份打开配置文件,可在{em1}$/etc/tor/torrc中找到,例如使用nano:
{pr 4}将行放在下面并保存:
{pr 5}重新启动Tor:
{pr}$可以检查机器的IP地址并将其与Tor地址进行比较,如下所示:
-
要查看您的IP地址:
{pr 7}
在
要查看TOR的IP地址:
{pr 8}
在
Scrapy不支持torproxy。为了克服这个问题,需要使用中间层,在本例中是{str1}{a2}。在
{bq 1}{str 1}$Privoxy的安装和配置:
- 安装: {pr 9} 在 停止处决: {pr 10} 在
- 将其配置为使用Tor,打开配置文件: {pr 11} 在
- 添加以下行: {pr 12} 在 启动它: {pr 13} 在
测试:
{pr 14} {pr 15}以上两个步骤中显示的IP应该是相同的。在
使用
完成这些设置后,就可以将Tor集成到Scrapy中了。在
- 在
在项目的配置文件({str 1})中配置中间件$py设置。:
{pr 16} 在 - 在
启用扩展名的使用:
{pr 17} 在
- 项目
标签: