我的脚本做了一个非常简单的刮取,访问www.songfacts.com网站公司名称:
url = getSongUrlFor(title)
page = requests.get(url).text
soup = BeautifulSoup(page, 'html.parser').get_text()
当我只运行前两行时,它似乎工作得很好,但是一旦我添加了BeautifulSoup调用,连接就被阻塞了:
^{pr2}$我已经用requests
访问了好几次,没有问题,但是第一次使用BeautifulSoup
不仅阻止了python(甚至可以追溯到requests
),而且Chrome和Safari在一段时间内无法访问这个特定的网站(目前大约一个小时后,我仍然无法访问它)。在
第二天早上我可以再次访问该站点,直到我尝试BeautifulSoup
然后它破坏了它。在
奇怪的是,这个问题在我尝试过的其他网站上不会重现。在
救命啊。在
更新:切换IP地址(现在从我的iPhone连接)它工作了一两次(不带beauthoulsoup),但是:
requests.exceptions.ConnectionError: ('Connection aborted.', error(54, 'Connection reset by peer'))
目前没有回答
相关问题 更多 >
编程相关推荐