发出一百万个api请求，运行时间太长，甚至在很多小时内都没有完成，我如何才能更快地完成？

Question

import pandas as pd
import json
import requests
import time

t1=time.time()
df=pd.DataFrame()

while True:
    try:
        for i in range(110000,160000):
            response = requests.get("https://api.postalpincode.in/pincode/{}".format(i))
            data = json.loads(response.text)
            postOffices = pd.DataFrame(data[0]['PostOffice'])
            if not postOffices.empty:
                df.append(postOffices, ignore_index=True)
    except ConnectionError:
        continue

Answer 1

在为数据抓取目的敲打免费API服务之前，一些简单的算法将很好地为您服务

1M请求@1ms=1000s

50毫秒时的1M请求=~14小时

等等

我想你会遇到利率限制，所以也许你最好从他们网站上的目录列表中删除数据