我正在使用BeautifulGroup来获取此网页中每个产品的href:http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera。这些href以“keywords=digital+camera”结尾 我的代码是:
from bs4 import BeautifulSoup
import requests
url = "http://www.amazon.com/s/ref=nb_sb_noss_1?url=search-alias%3Daps&field-keywords=digital+camera"
keyword = "keywords=digital+camera"
r = requests.get(url)
data = r.text
soup = BeautifulSoup(data)
for link in soup.find_all('a'):
href = link.get('href')
if href is None:
continue
elif keyword in href:
print href
我没有从上面的脚本中得到任何东西,我能做些什么来修复它吗? 谢谢
Amazon正在检测用户代理(“浏览器的名称”)并根据该值更改内容。如果在请求中添加一个用户代理,您将得到添加了“keyword=digital+camera”的字符串。否则,你不会
相关问题 更多 >
编程相关推荐