只有几次请求后,连接被拒绝(超过最大重试次数)

2024-10-01 02:31:45 发布

您现在位置:Python中文网/ 问答频道 /正文

我的脚本做了一个非常简单的刮取,访问www.songfacts.com网站公司名称:

  url = getSongUrlFor(title)
  page = requests.get(url).text
  soup = BeautifulSoup(page, 'html.parser').get_text()

当我只运行前两行时,它似乎工作得很好,但是一旦我添加了BeautifulSoup调用,连接就被阻塞了:

^{pr2}$

我已经用requests访问了好几次,没有问题,但是第一次使用BeautifulSoup不仅阻止了python(甚至可以追溯到requests),而且Chrome和Safari在一段时间内无法访问这个特定的网站(目前大约一个小时后,我仍然无法访问它)。在

第二天早上我可以再次访问该站点,直到我尝试BeautifulSoup然后它破坏了它。在

奇怪的是,这个问题在我尝试过的其他网站上不会重现。在

救命啊。在

更新:切换IP地址(现在从我的iPhone连接)它工作了一两次(不带beauthoulsoup),但是:

requests.exceptions.ConnectionError: ('Connection aborted.', error(54, 'Connection reset by peer'))

Tags: text脚本名称comurlget网站www