在beauthoulsoup上下文中lxml和html5lib的区别

Question

在beauthoulsoup上下文中，lxml和html5lib解析器的能力有区别吗？我正在尝试学习使用BS4并使用以下代码构造-

ret = requests.get('http://www.olivegarden.com')
soup = BeautifulSoup(ret.text, 'html5lib')
for item in soup.find_all('a'): 
    print item['href']

我开始使用lxml作为解析器，但是注意到对于一些网站来说，for循环永远不会被输入，即使页面中有有效的链接。同一个页面与html5ib解析器一起工作。有没有什么特定类型的页面可能不适用于lxml？在

我在Ubuntu上使用pythonlxml2.3.2-1和libxml2.7.8.dfsg-5.1ubunt 和html5lib-1.0b3

编辑：我更新到lxml3.1.2，仍然看到相同的问题。在mac上，虽然运行的是3.0.x，但同一个页面被正确解析。有问题的网站是www.olivegarden.com网站在

Answer 1

html5lib使用HTML规范中定义的HTML parsing algorithm，并在所有主流浏览器中实现。lxml使用libxml2的HTML解析器-这最终是基于它们的XML解析器的，并且不会遵循任何错误处理方法来处理其他地方使用的无效HTML。在

大多数web开发人员只使用web浏览器进行测试—标准是该死的—因此，如果您想获得页面作者的意图，您可能需要使用与当前浏览器匹配的html5lib之类的东西