使用scrapy获取数据

Question

我想从这个链接中删除数据http://money.moneygram.com.au/（链接可以是（https://www.moneygram.com/wps/portal/moneygramonline/home/estimator?LC=en-GB））当我打开html页面来删除数据，也就是说，是这个页面上提到的汇率，我选择的第一个下拉鲍恩按钮是澳元（奥斯塔利亚货币）对美元（美元），但如何选择印度卢比（印度卢比）在第一个选项。当我选择并使用此url时，默认情况下选择aud（澳大利亚货币）。我使用的代码是。。。在

 from __future__ import absolute_import
    #import __init__
 from scrapy.spider import BaseSpider
 from scrapy.selector import HtmlXPathSelector
 import MySQLdb

class DmozSpider(BaseSpider):
    name = "moneygram"
    allowed_domains = ["moneygram.com"]
    start_urls = ["http://money.moneygram.com.au/"]

    def parse(self, response):
        filename = response.url.split("/")[-2]
        open(filename, 'wb').write(response.body)
        hxs = HtmlXPathSelector(response)

我想选择inr的htmlpart是。。在

^{pr2}$

Answer 1

这是一个ajax问题。 js脚本将参数传入服务器，然后服务器将数据返回。在

使用chrome工具，可以浏览post数据的详细url。在

详细url为“http://money.moneygram.com.au/forex-tools/currency-converter-widget-part”。在

以及post form参数： “FromCurrency=AED&ToCurrency=VND&FromCurrency_dropDown=AED&ToCurrency_dropDown=VND&FromAmount=2561&ToMount=&X-Requested-With=XMLHttpRequest”。在

所以您可以对这个url使用scrapy POST参数来获取html数据，并通过解析获得所需的内容。在