如何从一个教科书回购网站上获取刮费信息？

Question

我正在制作一个程序，其中一个部分是计算出教科书的最佳回购价格。我试图从“https://bookscouter.com”中获取值，例如，“https://bookscouter.com/prices.php?isbn=1285428226&searchbutton=Sell”的值是34$。问题是这个网站绝对不是静态的，简单的python抓取并不能真正起作用。我该怎么做？什么要求？我不是一个很有经验的网络工作，所以任何建议将不胜感激。最好的

Answer 1

这个页面使用Ajax获取一些附加信息。https://bookscouter.com/prices.php?isbn=1285428226&searchbutton=Sell的源代码显示

<script language="javascript" type="text/javascript">
    function fetchresults_cb(search_id, text) {
        replaceContent('price_results', text);
        if(text.match(/INCOMPLETE/i)) {
            currentTime = new Date();
            time = currentTime.getTime();
            delayfunc = "AjaxRetrieve('/ajax_prices.php?type=PREFERRED&isbn=1285428226&search_id="+search_id+"&ts="+time+"', 'fetchresults_cb(\\'"+search_id+"\\', THISREQ.responseText)', 'true');";
            setTimeout(delayfunc, 3000);
        }

</script>

有一种不同的方法来解析这种页面。在

第一种方法是用Python重新实现上面的源代码，并获取额外的资源，就像浏览器在JavaScript执行期间那样。您可以分析页面的完整源代码，也可以使用network monitor来标识所需信息可用的URL地址。在

第二种方法是使用Selenium，它使用浏览器引擎来执行JavaScript，并提供完整的源代码和所有必需的信息。在

我相信你拥有数据库所有者的权限bookscouter.com网站进行这种活动。在