如何使用BeautifulSoup从带有保护的重定向网站获取html内容？

Question

我在尝试从网页获取html内容时遇到问题。在

在这个网站：https://tmofans.com/library/manga/5763/nisekoi当你在“capitolo 230.00”中点击播放图标时，它打开下一个链接：https://tmofans.com/goto/347231会将你重定向到这个网站：https://tmofans.com/viewer/5c187dcea0240/paginated

问题是当你直接打开这个链接：https://tmofans.com/goto/347231页面给出了403禁止的消息。 重定向到最终页面的唯一方法是从第一页单击“播放”按钮。在

我想只使用tmofas.com/goto网站链接

我尝试使用请求和BeautifulSoup来获取html内容

import requests
from BeautifulSoup import BeautifulSoup

response = requests.get("https://tmofans.com/goto/347231") 
page = str(BeautifulSoup(response.content))

print page

当我用https://tmofans.com/goto/347231执行此操作时，我只得到403禁止页的内容。在

Answer 1

这个网站检查你是否有他们网站的推荐人，否则会给你403的回复。通过设置一个referer，您可以轻松地绕过这个问题。在

import requests
ref='https://tmofans.com'
headers = { 'Referer': ref }
r = requests.get('https://tmofans.com/goto/347231',headers=headers)
print(r.url)
print(r.status_code)

输出

^{pr2}$