从网站上的产品目录中获取价格数据

Question

我很熟悉urllib，因为我在课堂上用它来解析来自Google的货币转换器的数据，但是现在我想创建一个web scraper，从这个网站nextworth.com获取价格。

正如你所看到的，从一页纸上获取数据（就像你对黄金价格或其他方面的数据一样）并不容易，但是有许多产品和许多问题需要回答才能显示最终价格。这就是它的工作原理：

1.转到站点（http://www.nextworth.com）

2.单击产品类别（例如iPhone）http://nextworth.com/search/1/cat/iphones/

3.点击实际产品（例如iPhone 4 16GB ATT）http://nextworth.com/product/293814/cat/iphones/apple_iphone_4_16gb_(black)_-_at&t/

然后你有一系列的问题来给你一个即时的报价。因此，下一步将是

4.开启全功能-是

5.显示屏破裂-否

最后，显示价格。这是我想要刮去和储存的东西。现在我只想得到完美条件下的物品的价格，因为它更容易，但请记住，如果步骤4是否和步骤5是否，或者步骤4-是和步骤5-是，等等，我也会想要价格

所以我想我的问题是，为这个程序编写代码背后的伪代码（逻辑步骤）是什么样的？这样做是可行的，还是要花费大量的代码？我应该先为每一个类别创建几个函数，然后在这些函数中我拥有每一个产品（我觉得这需要一段时间）。还是应该为每个类别和嵌入式函数使用类？

编辑：我想我应该问问Python是否是一个好的语言来完成它，希望在Python中做它是可行的，因为我只知道C++。

Answer 1

web垃圾库要求您设置某种形式的库以及集成开发环境（在您的例子中，您正在考虑为此使用python）。

我们创建了一个webscraping作为服务平台，允许您automate webscraping in a few click。当我们还在创建chrome浏览器扩展时，我们将在本周末发布第一个版本。您只需编写几行JSON，就可以使用我们为您进行web抓取。