IP旋转器,用于刮屑器

scrapy-tor-proxy-rotation的Python项目详细描述


刮板转子

此模块的目的是允许通过Tor旋转IP。在

安装

通过$str 1}$pip安装的简单方法:

{pr 1}

配置Tor

您需要设置{str 1}$Tor。首先,安装它:

{pr2}

停止执行以执行设置:

{pr 3}

以root用户身份打开配置文件,可在{em1}$/etc/tor/torrc中找到,例如使用nano:

{pr 4}

将行放在下面并保存:

{pr 5}

重新启动Tor:

{pr}$

可以检查机器的IP地址并将其与Tor地址进行比较,如下所示:

    要查看您的IP地址: {pr 7} 在 要查看TOR的IP地址: {pr 8} 在

Scrapy不支持torproxy。为了克服这个问题,需要使用中间层,在本例中是{str1}{a2}。在

{bq 1}

{str 1}$Privoxy的安装和配置:

  • 安装: {pr 9} 在
  • 停止处决: {pr 10} 在
  • 将其配置为使用Tor,打开配置文件: {pr 11} 在
  • 添加以下行: {pr 12} 在
  • 启动它: {pr 13} 在
{bq 2}

测试:

{pr 14} {pr 15}

以上两个步骤中显示的IP应该是相同的。在

使用

完成这些设置后,就可以将Tor集成到Scrapy中了。在

  • 在项目的配置文件({str 1})中配置中间件$py设置。:

    {pr 16} 在
  • 启用扩展名的使用:

    {pr 17} 在
默认情况下,一个IP可以在其他IP使用10次后重用。该值可以通过变量TOR或IPROTATOR或ALLOW REUSE IP or after更改,如下所示: {pr 18} 太大的数字会使恢复新IP以供使用或找不到的速度变慢。如果值为0,则没有已使用IP的记录。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何更新映射中的值?   从AmazonS3下载java文件   java BufferedWriter write()方法不工作   java如何在资源包中使用JSF标记/如何在资源包中重写URL?   变量的java“var”命名   java lambda表达式是否有与之关联的on对象,以及为什么“this”不引用lambda表达式的对象?   java XX:OmitStackTraceInFastThrow似乎什么都没做   java使用LWJGL创建隐藏画布   java如何在Spring配置文件中配置Hibernate   Hadoop CDH5中的java垃圾收集持续时间   您如何使用java进行日程安排?   toString方法的java洞察   谷歌地图上的java更新标记   java在检查类型后将父对象作为子对象传递   java Hibernate save单独成功,但如果运行时几乎没有其他测试,则会失败   浏览器历史系统中循环的java乘法   Java中的图像映射   json Java使用流API解析字符串