urllib.request.urlopen不适用于特定网站

Question

我使用urllib.request.request作为memidex.com页面的url，但是urllib.request.urlopen（url）行无法打开url

url = urllib.request.Request("http://www.memidex.com/" + term)
my_request = urllib.request.urlopen(url)
info = BeautifulSoup(my_request, "html.parser")

我曾尝试在不同的网站上使用相同的代码，但它对那个网站有效，所以我不知道为什么它对memidex.com不起作用

Answer 1

您需要在url请求中添加标题以克服错误。顺便问一下“HTTP错误403:禁止”您的错误正确吗？ 希望下面的代码对您有所帮助

import urllib.request

user_agent = 'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.7) Gecko/2009021910 Firefox/3.0.7'
url = "http://www.memidex.com/"
headers={'User-Agent':user_agent,} 
request=urllib.request.Request(url,None,headers)
response = urllib.request.urlopen(request)
data = response.read()
print(data)