Python hxs_专题 - Python中文网

如何使用HtmlXPathSelector（Scrapy）将结果返回为HTML

如何检索包含在标记中的所有HTML？ hxs = HtmlXPathSelector(response) element = hxs.select('//span[@class="title"]/') ...

2024-06-25 已阅读: n次

我正在抓取一个网站，它包含许多网址，从中O需要获取数据。我使用XPath获取了所有的hrefs（url）并保存到一个列表中。我把这个单子圈起来，提出了一个请求。下面是我的蜘蛛代码 class Exa ...

2024-06-25 已阅读: n次

考虑一下这个代码 description = "" desc = hxs.select('/html/head/meta[2]/@content').extract() if len(desc) &g ...

2024-06-25 已阅读: n次

Possible Duplicate: convert list to string to insert into my sql in one row in python scrapy ...

2024-06-25 已阅读: n次

我试图编程一个爬行蜘蛛来爬行一个网站的RSS提要，然后解析文章的元标记。第一个RSS页面是显示RSS类别的页面。我设法提取了链接，因为标记在标记中。看起来是这样的： <tr&g ...

2024-06-25 已阅读: n次

我有一个xpath表达式，它使用“|”—运算符来选择网页的几个节点/分区。在这是一个表达式： hxs.select('//div[@class="cat"]/p|//div[@class="entr ...

2024-06-25 已阅读: n次

我需要爬this website。这是一个脑筋急转弯网站，当你点击一个按钮时，它会运行一个JavaScript来显示答案窗口。在 <tr> <td width="60 ...

2024-06-25 已阅读: n次

我正在使用scrapy 0.14 下面是我的密码 start_urls = ['http://lakebagger.com/ur/'] def parse(self, response): ...

2024-06-25 已阅读: n次

我用Scrapy从网站上获取重要数据。我想写一个通用的蜘蛛定义，可以从用户指定的任何网站抓取数据。我试过写一些代码，但这不足以实现我的目标。这段代码能够从一些HTML标记中抓取数据，这些标记有时是不清 ...

2024-06-25 已阅读: n次

我正试图收集一个域下所有的网址使用Scrapy。我试着用爬行蜘蛛从主页开始爬网。对于每个页面，我想使用Xpath提取所有href。并以类似键值对的格式存储数据。 Key：当前Url 值：此页上的所有链 ...

2024-06-25 已阅读: n次

想刮Y！组和我可以从一个页面获取数据，但仅此而已。我有一些基本规则，但很明显它们是不对的。有人已经解决了这个问题？在 class YgroupSpider(CrawlSpider): name = " ...

2024-06-25 已阅读: n次

我试着写这个蜘蛛已经好几个星期了，但是没有成功。用Python编写代码的最佳方法是： 1）初始url:http://www.whitecase.com/Attorneys/List.aspx?Last ...

2024-06-25 已阅读: n次