Urllib2:获取html pag的内容

Question

我需要解析一些URL中的信息：

http://novosibirsk.baza.drom.ru/personal/actual/bulletins
http://drom.ru
http://novosibirsk.baza.drom.ru
http://moscow.drom.ru/volvo/xc70/21914186.html
http://novosibirsk.baza.drom.ru/personal/actual/bulletins
http://novosibirsk.baza.drom.ru/kolpaki-reno-r15-kubera-30227564.html

我试着从中分析一些信息

^{pr2}$

但它回到我的空白页。 哪里会有问题？在

Answer 1

使用requests将使其更容易。如果您没有安装requests模块，请尝试通过pip install requests安装它

import requests

if 'drom.ru' in url:
    r = requests.get(url)
    soup = BeautifulSoup(r.content, 'html.parser') # lxml works faster than html.parser

Answer 2

第一步：你能从浏览器访问网站吗？（如果没有，转到步骤4）

第二步：您能从wget、curl等命令行访问站点吗。？（如果没有，转到步骤4）

步骤3:检查代理问题/尝试其他库，如requests

步骤4：首先在浏览器/命令行中使其工作，然后返回步骤1