使用python extract-specific d在LXML中进行屏幕抓取

Question

在过去的几个小时里，我一直在尝试编写一个程序，它可以完成我认为非常简单的任务：

1. 程序要求用户输入（比如“幸福”类型）
2. 程序使用此格式查询thinkexist网站（“http://thinkexist.com/search/searchquote.asp？搜索=用户输入）
3. 程序从网站返回第一个引用。在

我尝试过在lxml中使用Xpath，但是没有经验，而且每个构造都返回一个空数组。在

引用的实际内容似乎包含在类“sqq”中

如果我通过Firebug导航站点，单击DOM选项卡，就会发现引用是在textNode属性“wholeText”或“textContent”中——但我不知道如何在程序上使用这些知识。在

有什么想法吗？在

Answer 1

如果不需要通过XPath实现，可以使用这样的BeautifilSoup库（让myXml变量包含页面HTML源）：

soup = BeautifulSoup(myXml)
for a in soup.findAll(a,{'class' : 'sqq'}):
  # this is your quote
  print a.contents

不管怎样，阅读BS文档，它对于一些不需要XPath功能的抓取需求可能非常有用。在