网页抓取网址问题

Question

我正在努力搜集与美国农作物农场相关的每一项业务的信息，以及每年500万美元或以上的收入。问题是，当我在搜索参数中更改选项时，它不会更改URL…所以我不知道如何进行这样的项目…任何帮助都将不胜感激！你知道吗

这是我要搜索的网站：http://listings.findthecompany.com/d/a/Crop-Farms

Answer 1

如果你捕捉到了网络，你可以看到网页在你点击搜索时发出了一个呼叫。你知道吗

http://listings.findthecompany.com/ajax_search?_len=20&page=0&app_id=1662&_sortfld=sales_volume_us&_sortdir=DESC&_fil%5B0%5D%5Bfield%5D=sic_1_4digit&_fil%5B0%5D%5Boperator%5D=%3D&_fil%5B0%5D%5Bvalue%5D=0191&_fil%5B1%5D%5Bfield%5D=_sphinx_universal_search&_fil%5B1%5D%5Boperator%5D=LIKE&_fil%5B1%5D%5Bvalue%5D=Apple&_fil%5B1%5D%5Bignore%5D=false&_tpl=srp&head%5B%5D=company_name&head%5B%5D=_GC_address&head%5B%5D=total_employees&head%5B%5D=employees_here&head%5B%5D=sales_volume_us&head%5B%5D=year_started&head%5B%5D=citystate&head%5B%5D=localeze_classification&head%5B%5D=id&head%5B%5D=_encoded_title&dir_field_1=207944

实际上，您可以检查不同的参数并获得所需的所有数据。 我使用“Apple”作为搜索词，它作为参数传递。你知道吗