使用pandas dataframe中的JSON对象优化解析文件，其中某些行中可能缺少键

Question

我希望优化下面的代码，这需要大约5秒，这对于一个只有1000行的文件来说太慢了。在

我有一个大文件，其中每一行都包含有效的JSON，每个JSON看起来如下所示（实际数据要大得多，并且是嵌套的，所以我用这个JSON片段来说明）：

  {"location":{"town":"Rome","groupe":"Advanced",
    "school":{"SchoolGroupe":"TrowMet", "SchoolName":"VeronM"}},
    "id":"145",
    "Mother":{"MotherName":"Helen","MotherAge":"46"},"NGlobalNote":2,
    "Father":{"FatherName":"Peter","FatherAge":"51"},
    "Teacher":["MrCrock","MrDaniel"],"Field":"Marketing",
     "season":["summer","spring"]}

我需要解析这个文件，以便从每个JSON中只提取一些键值，以获得结果数据帧：

^{pr2}$

但是我在dataframe中需要的一些键在一些JSON对象中丢失了，所以我应该验证该键是否存在，如果没有，则用Null填充相应的值。我使用以下方法：

df = pd.DataFrame(columns=['group', 'id', 'Father', 'Mother'])
with open (path/to/file) as f:
    for chunk in f:
        jfile = json.loads(chunk)

        if 'groupe' in jfile['location']:
            groupe = jfile['location']['groupe']
        else:
            groupe=np.nan

        if 'id' in jfile:
            id = jfile['id']
        else:
            id = np.nan

        if 'MotherName' in jfile['Mother']:
            MotherName = jfile['Mother']['MotherName']
        else:
            MotherName = np.nan

        if 'FatherName' in jfile['Father']:
            FatherName = jfile['Father']['FatherName']
        else: 
            FatherName = np.nan

        df = df.append({"groupe":group, "id":id, "MotherName":MotherName, "FatherName":FatherName},
            ignore_index=True)

我需要将整个1000行文件的运行时优化为<；=2秒。在PERL中，同样的解析函数需要<；1秒，但我需要用Python实现它。在

Answer 1

关键部分是不将每一行追加到循环中的数据帧。您希望将集合保存在一个list或dict容器中，然后一次连接所有这些集合。您还可以使用一个简单的返回默认值的get来简化if/else结构（例如。np.nan公司)如果在字典中找不到该项。在

with open (path/to/file) as f:
    d = {'group': [], 'id': [], 'Father': [], 'Mother': []}
    for chunk in f:
        jfile = json.loads(chunk)
        d['groupe'].append(jfile['location'].get('groupe', np.nan))
        d['id'].append(jfile.get('id', np.nan))
        d['MotherName'].append(jfile['Mother'].get('MotherName', np.nan))
        d['FatherName'].append(jfile['Father'].get('FatherName', np.nan))

    df = pd.DataFrame(d)