限制/限制grequest中HTTP请求的速率

Question

我正在用Python 2.7.3编写一个带有GRequests和lxml的小脚本，它允许我从不同的网站收集一些可收藏的卡片价格并进行比较。问题是其中一个网站限制了请求的数量，如果我超过了它，就会发送回HTTP错误429。

有没有一种方法可以添加对grequeste中请求数的限制，以使我不超过指定的每秒请求数？ 另外-如果发生了HTTP 429，我如何使GRequestes在一段时间后重试？

另一方面，他们的上限低得离谱。大约每15秒8个请求。我用浏览器多次破坏它，只是刷新页面等待价格变化。

Answer 1

查看此以了解自动请求限制： https://pypi.python.org/pypi/RequestsThrottler/0.2.2

您可以在每个请求之间设置一个固定的延迟量，也可以在固定的秒数内设置要发送的请求数（这基本上是一样的）：

import requests
from requests_throttler import BaseThrottler

request = requests.Request(method='GET', url='http://www.google.com')
reqs = [request for i in range(0, 5)]  # An example list of requests
with BaseThrottler(name='base-throttler', delay=1.5) as bt:
    throttled_requests = bt.multi_submit(reqs)

函数multi_submit返回ThrottledRequest的列表（请参阅末尾的doc:link）。

然后您可以访问响应：

for tr in throttled_requests:
    print tr.response

或者，您也可以通过指定在固定时间内发送的请求数（例如，每60秒发送15个请求）来实现相同的目的：

import requests
from requests_throttler import BaseThrottler

request = requests.Request(method='GET', url='http://www.google.com')
reqs = [request for i in range(0, 5)]  # An example list of requests
with BaseThrottler(name='base-throttler', reqs_over_time=(15, 60)) as bt:
    throttled_requests = bt.multi_submit(reqs)

两个解决方案都可以在不使用with语句的情况下实现：

import requests
from requests_throttler import BaseThrottler

request = requests.Request(method='GET', url='http://www.google.com')
reqs = [request for i in range(0, 5)]  # An example list of requests
bt = BaseThrottler(name='base-throttler', delay=1.5)
bt.start()
throttled_requests = bt.multi_submit(reqs)
bt.shutdown()

有关详细信息：http://pythonhosted.org/RequestsThrottler/index.html