从多个站点获取类似信息

Question

我需要从几个不同的网站获取相同的信息。基本上，我正在寻找类似的信息，但网站可能属于不同的供应商，可以有不同的HTML结构。例如，如果我试图收集Barns&Nobles和Biblio中与教科书相关的数据（这只有两本，但可能有很多），并获得书籍的书名、作者和价格如何？在

https://www.barnesandnoble.com/b/textbooks/mathematics/algebra/_/N-8q9Z18k3

https://www.biblio.com/search.php?stage=1&result_type=works&keyisbn=algebra

当然，我可以独立地解析这两个站点，但是我正在寻找一种通用的方法，可以很容易地应用到其他供应商，以及提取相同的信息。在

当我想从一个不同的产品中搜索不同的信息源时，我会怎么知道呢？例如，如果你在页面顶部搜索“MacBookPro”，你会得到一个不同供应商的产品轮转。我假设google会自动从不同的来源获取这些信息，向用户推荐可用的信息。在

Answer 1

看看scrapely。如果您不想手动解析不同的HTML结构，它会非常有用。在