scrapy xpath:无法获取google next pag

Question

我想在https://www.google.com.tw/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=test中得到下一页

但我的代码不起作用。
请引导我。非常感谢你。在

  scrapy shell "https://www.google.com.tw/webhp?sourceid=chrome-instant&ion=1&espv=2&ie=UTF-8#q=test"
 response.xpath("//a[@id='pnnext']/@href")

Answer 1

这是工作代码

scrapy shell "https://www.google.com.tw/search?q=test"
response.xpath("//a[@id='pnnext']/@href")

问题在于你向谷歌提出请求的方式。在

在任何情况下，请注意谷歌搜索的政策。在

谷歌的定制搜索服务条款（TOS）可以在http://www.google.com/cse/docs/tos.html找到。在

更新： 我写了一个蜘蛛来更深入地测试这个问题。在

完全不是pythonic（欢迎改进），但我对处理google结果的机制感兴趣。在

正如前面的评论所建议的，需要对接口的国际化进行测试。在

^{pr2}$

Answer 2

你能试着用下面的x路径告诉我结果吗是。看起来就像使用的xpath没有指向web元素在DOM中的确切位置一样。在

//a[@id='pnnext']//span[2]