规范化pandas中的json行

2024-10-04 07:35:47 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个json行文件,其中每行都有一些结构,我正在尝试(大部分)扁平化,因此:

with open("/home/igor/data/feed.jsonl") as json_file:
    thelist2 = []
    for line in json_file:
        thelist2.append(json_normalize(json.loads(line)))

紧随其后的是pd.concat(thelist2),上面的语义是正确的,但不太好的是它的速度非常慢,而在没有json_normalize的情况下运行上面的代码速度非常快(但是做了错误的事情)。有没有一种事后规范化数据帧的方法,或者其他更快的方案?你知道吗


Tags: 文件jsonhomedatafeedwithlineopen