通过php请求访问Python的Download.txt

Question

我正在尝试自动下载这些电子书： http://www.getfreeebooks.com/?p=10394

使用类似这样的url，可以下载单个.txt文件： http://manybooks.net/_scripts/send.php?tid=lovecrafthother06At_the_Mountains_of_Madness&book=1:text:.txt:text

但是，不能使用以下行保存文件：

url = "http://manybooks.net/_scripts/send.php?tid=lovecrafthother06At_the_Mountains_of_Madness&book=1:text:.txt:text"
testfile = urllib.URLopener()
testfile.retrieve(url, "book 001.txt")

可能是因为这个文件是通过php访问的，我正试图下载一个php请求。但是我似乎找不到正确的方法。在

谢谢你调查我的问题！杰尔

Answer 1

这并不是因为文件是通过php访问的，而是因为服务器似乎不喜欢您使用空的用户代理。去吧，让他们知道你是谁！在

headers = {
    "User-Agent": "jpostma1's crawler"
}

url = "http://manybooks.net/_scripts/send.php?tid=lovecrafthother06At_the_Mountains_of_Madness&book=1:text:.txt:text"
req = urllib2.Request(url, headers=headers)
testfile = urllib2.urlopen(req)
with open("book 001.txt",'w') as w:
    w.write(testfile.read())