检查下载链接在python中是否有效

Question

Im目前正在使用以下代码下载gz文件。gz文件的url将由用户提供的信息组成：

generalUrl = theWebsiteURL + "/" + packageName

所以generalURl可以包含如下内容：http://www.example.com/blah-0.1.0.tar.gz

^{pr2}$

这里的问题是：我有一个名为theWebsiteURL变量的网站列表。我需要检查所有这些网站，看看哪些网站有packageName中的包可供下载。我不想在确认过程中下载软件包。在

一旦代码通过网站列表来发现哪个网站有这个软件包，我就想从被发现有软件包的网站列表中选择第一个网站，并自动从中下载软件包。在

像这样：

#!/usr/bin/env python2.7
listOfWebsites = [ website1, website2, website3, website4, and so on ]
goodWebsites = []
for eachWebsite in listOfWebsites:
        genURL = eachWebsite + "/" + packageName
        res = requests.get(genUrl)
        res.raise_for_status()
        if raise_for_status == "200"
             goodWebsites.append(genURL)

这就是我的想象力停止的地方。我需要帮助来完成这件事。我甚至不知道我是怎么做的。在

Answer 1

您可以尝试先发送一个HEAD请求以检查URL是否有效，然后通过GET请求下载包。在

#!/usr/bin/env python2.7
listOfWebsites = [ website1, website2, website3, website4, and so on ]
goodWebsites = []
for eachWebsite in listOfWebsites:
    genURL = eachWebsite + "/" + packageName
    res = requests.head(genUrl)
    if res.ok:
         goodWebsites.append(genURL)