无法将HTML从网站正确转换为文本

Question

编辑：我不敢相信BeautifullSoup实际上无法正确解析HTML。实际上我可能做错了什么，但如果我不这样做，这是一个真正的业余模块。在

我试图从网上获取文本，但我不能这样做，因为我总是得到一些奇怪的字符在大多数句子。我从来没有得到一个句子包含“不正确”这样的词。在

useragent = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
request = urllib2.Request('SomeURL',None,useragent)
myreq = urllib2.urlopen(request, timeout = 5)
html = myreq.read()

#get paragraphs
soup = BeautifulSoup(html)
textList = soup.find_all('p')
mytext = ""
for par in textList:
    if len(str(par))<2000: 
    print par
    mytext +=" " +  str(par)

 print "the text is ", mytext

结果包含一些奇怪的字符：

^{pr2}$

很明显，我想要的是不是而不是™t、 我该怎么办？在

Answer 1

由于这是Python2，urllib.urlopen().read()调用返回一个字节字符串，很可能是用UTF-8编码的——您可以查看HTTP报头来查看是否包含了编码。我假设是UTF-8。在

在你开始处理内容之前，你不能解码这个外部的表现，这只会导致你流泪。一般规则：立即解码输入，仅对输出进行编码。在

以下是您的代码，只有两个修改

import urllib2
from BeautifulSoup import BeautifulSoup

useragent = {'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_4) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.57 Safari/536.11'}
request = urllib2.Request('SomeURL',None,useragent)
myreq = urllib2.urlopen(request, timeout = 5)
html = unicode(myreq.read(), "UTF-8")

#get paragraphs
soup = BeautifulSoup(html)
textList = soup.findAll('p')
mytext = ""
for par in textList:
    if len(str(par))<2000: 
      print par
      mytext +=" " +  str(par)

print "the text is ", mytext

我所做的只是添加了html的unicode解码，并使用了soup.findAll()，而不是{}。在