刮削时收到请求?

2024-09-28 03:19:51 发布

您现在位置:Python中文网/ 问答频道 /正文

我是CMU的大一新生,在第一学期的项目中完全迷失了方向,非常感谢您的帮助:)

我正在写一个刮削工具,有时一个请求就是不响应。它不返回任何内容,甚至不返回错误。这个问题使我的刮板卡在一个网址,而不是认识到它被卡住,并继续前进。代码如下:

def extractHTML(url):
    startTime = time.time()
    headers = requests.utils.default_headers()
    headers.update(
        {'User-Agent':
         'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0',})
    paper1Link = requests.get(url,headers=headers)
    papaer1Content=BeautifulSoup(paper1Link.content,"lxml")
    return str(papaer1Content)
  1. 如何让python认识到我被卡住了,几秒钟后就崩溃了?你知道吗
  2. 此站点:http://www.apa.org/甚至不会授予我访问权限,即使我更改了头以使请求看起来像一个普通的请求。我怎样才能得到这个请求?你知道吗

Tags: 工具项目刮板url内容time错误方向

热门问题