网站屏蔽了curl，即使是真正的浏览器的标题

Question

我注意到http://www.momondo.com.cn/正在使用一些神奇的技术： curl不起作用。URL在web浏览器中显示得很好，但是curl总是返回一个超时，即使我像web浏览器一样添加所有的标题。在

我还尝试了Python请求和urllib2，但它们也不起作用。在

C:\Users\Administrator>curl -v -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36" -H "Connection: Keep-Alive" -H "Accept-Encoding:gzip, deflate, sdch" -H "Cache-Control:no-cache" -H "Upgrade-Insecure-Requests:1" -H "Accept-Language:zh-CN,zh;q=0.8" -H "Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8"
http://www.momondo.com.cn/
* About to connect() to www.momondo.com.cn port 80 (#0)
*   Trying 184.50.91.106...
* connected
* Connected to www.momondo.com.cn (184.50.91.106) port 80 (#0)
> GET / HTTP/1.1
> Host: www.momondo.com.cn
> User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36
> Connection: Keep-Alive
> Accept-Encoding:gzip, deflate, sdch
> Cache-Control:no-cache
> Upgrade-Insecure-Requests:1
> Accept-Language:zh-CN,zh;q=0.8
> Accept:text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8
>

为什么以及如何发生？莫蒙多是如何逃逸的？在

Answer 1

我找到了原因：

momondo使用以下方法来阻止不真实的web客户端。在

1. 检测用户代理。不能是curl的默认UA。在
2. 检测“Connection”报头。在我的初始测试中必须使用“keep alive”而不是“keep alive”。在
3. 检测“接受编码”标头。不能空，可以用任何东西。在

最后，我现在可以使用curl来获取内容：

curl -v -H "User-Agent: Mozilla/5.0 (Macintosh; Intel Mac OS X 10_10_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/44.0.2403.89 Safari/537.36" -H "Connection: keep-alive" -H "Accept-Encoding: nothing" http://www.momondo.com.cn/

顺便说一句，我已经做了七年的网络垃圾。这是我第一次遇到一个网站使用这种防刮方法。标记一下。在