Python请求：从Nodejs HTTP请求时突然变慢

Question

我有一个NodeJS HTTP服务器，它显示一个JSON文件，该文件每秒更新多次。样本数据：

{
    "MainText": [{
            "field1": "text",
            "field2": "text",
            "field3": 1234
        },
        {
            "field1": "text",
            "field2": "text",
            "field3": 1234
        },
        {
            "field1": "text",
            "field2": "text",
            "field3": 1234
        }
    ]
}

通常在一段时间之后，这个JSON中的此类条目的数量会增长到大约200k或更多

我必须将整个JSON导入到一个数据帧中，为此我使用以下方法：

df = pd.DataFrame(json.loads(requests.get(url).text))

通常需要0.3秒。但在我看来没有明显的原因，在几个请求之后，对于（几乎）相同的固定大小的JSON，它开始花费将近4秒的时间。在发出请求时，CPU或RAM的使用率没有变化

如果我重新启动NodeJS服务器，问题会暂时自行修复，但稍后会返回

我需要关闭与HTTP服务器的连接吗？我希望18万行的文本不是太多的请求，从服务器获取快速

我是否应该寻找一种更有效的方式将JSON数据加载到数据帧中