Scrapy和Xpath从javascript代码中提取数据

Question

我正在学习的过程中，同时使用scrapy构建了一个网络蜘蛛。我需要帮助从以下javascript代码中提取一些信息：

<script language="JavaScript" type="text/javascript+gk-onload">

    SKART = (SKART) ? SKART : {};
    SKART.analytics = SKART.analytics || {};
    SKART.analytics["category"] = "television";
    SKART.analytics["vertical"] = "television";
    SKART.analytics["supercategory"] = "homeentertainmentlarge";
    SKART.analytics["subcategory"] = "television";

</script>

我希望使用Xpath提取作为电视的类别信息。请帮我拿我应该用的选择器。在

Answer 1

您可以使用Selector对正则表达式的内置支持到^{}：

pattern = r'SKART\.analytics\["category"\] = "(\w+)";'
response.xpath('//script[@type="text/javascript+gk-onload"]').re(pattern)

演示（使用^{}）：

^{pr2}$