HTTP错误504:在python中修复了多个请求的网关超时

Question

Im使用python从一个在线api解析json文件并访问静态图像url，然后用一个简单的urllib.url检索. 在

我打算下载大量的图片（~8k），我意识到这是一个网站反复要求很多。我有一个时间。睡觉函数来防止url重载，但这会导致程序花费很长时间。所以我把它设置成在晚上运行，它在前6k没有问题，然后抛出了一个超时错误，我想是因为它连接到服务器的时间太长了。在

有什么方法可以防止这种情况发生，还是应该尝试以较小的增量下载文件，以限制连接到服务器的时间。在

for i, obsImg in enumerate(obsImages):
  fullImgURL = obsImg['url']
  fileName = f'{taxonName}_{userName}_{i + 1}.jpg'
  print(fileName)
  urllib.request.urlretrieve(fullImgURL, fileName)
  time.sleep(1.1)