Python grequests获取无响应

Question

我用grequests（速度很慢）在这个网站上爬行，在最初的几百个请求中，我得到的大多是200个HTTP响应，但是在某个时刻，我得到的只是没有响应（没有任何引发的异常）。在

最奇怪的是，如果我在第一次爬网仍在运行时尝试再次运行爬网，但没有得到任何响应，则第二次爬网会收到200个响应。在

顺便说一句，我很确定我正在爬行的网站没有任何保护。在

这是我的代码：

for x in range(0, len(urls), JUMP):                 

    rs = (grequests.get(u, stream=False, headers = headers, 
    timeout = 300) for u in urls[x:x+JUMP])     
    responses += grequests.map(rs,exception_handler=nones_exception_handler)

# saves the failed requests so i can try those again later
def nones_exception_handler(request, exception): 
    nonlocal exceptionurls
    print(exception)
    exceptionurls.append(request.url)