我是CMU的大一新生,在第一学期的项目中完全迷失了方向,非常感谢您的帮助:)
我正在写一个刮削工具,有时一个请求就是不响应。它不返回任何内容,甚至不返回错误。这个问题使我的刮板卡在一个网址,而不是认识到它被卡住,并继续前进。代码如下:
def extractHTML(url):
startTime = time.time()
headers = requests.utils.default_headers()
headers.update(
{'User-Agent':
'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',})
paper1Link = requests.get(url,headers=headers)
papaer1Content=BeautifulSoup(paper1Link.content,"lxml")
return str(papaer1Content)
^{} documentation 有一个section called "Timeouts".也许你应该从那里开始。你知道吗
相关问题 更多 >
编程相关推荐