python scrip接收404疑难解答

Question

我有一个python脚本，可以ping 12页someExampleSite.com网站每3分钟。它已经运行了几个月了，但是今天我开始在每次运行时收到6个页面的404个错误。你知道吗

所以我试着在运行脚本的pc上访问这些URL，它们在Chrome和Safari中加载良好。我还尝试更改脚本使用的用户代理字符串，但这也没有改变任何内容。我还尝试删除['If-Modified-Since']头，它也没有改变任何东西。你知道吗

为什么服务器会给我的6页脚本发送404，但在同一台计算机上，我可以在Chrome和Safari中很好地加载它们？（我确保在Chrome和Safari中进行了硬刷新，但它们仍然加载）

我正在使用urllib2发出请求。你知道吗

Answer 1

这可能有多种原因，例如服务器拒绝您的请求，因为缺少标头，或者限制。你知道吗

您可以尝试使用HTTP Headers在chrome中记录您的请求头，然后通过在请求中添加所有浏览器头，使用Python requests库。然后您可以尝试更改或删除标题，以查看到底发生了什么。你知道吗

Answer 2

所以我知道问题出在哪里了。你知道吗

该网站正在返回这6页的错误响应代码。即使它返回404，它也返回网页。Chrome和Safari似乎忽略了响应代码并显示页面，我的脚本在404上中止。你知道吗