在网站上通过迭代刮取时出现重定向键错误

Question

我正在尝试在CSV文件列中包含的网站上循环时进行抓取

问题是我得到了： KeyError：“http://www.onisep.fr/http/redirection/metier/identifiant/10164” 它重定向到我感兴趣的链接之一

这是我的密码：

for row in file:
    my_list = []
    dat_link = row['onisep link']
    requete = requests.get(row["{}".format(dat_link)])
    page = requete.content
    soup = BeautifulSoup(page)
    my_list.append(soup.find_all("span", "ezstring-field")[2].text.strip()) 
return my_list

我做了一些研究并尝试了time.sleep，但这并没有解决我的问题。你知道如何消除这个错误吗

提前谢谢

Answer 1

dat_link是字符串URL而不是键，请直接使用它

dat_link = row['onisep link']
requete = requests.get(dat_link)