高速填充数据帧

Question

我有一个熊猫系列，每个单元格都是一本字典：

data.individus.head(5)
Out[25]: 
0    [{'dateDeNaissance': 1954-09-14 00:00:00, 'enc...
1    [{'dateDeNaissance': 1984-09-14 00:00:00, 'enc...
2    [{'enceinte': False, 'dateDeNaissance': 1981-0...
3    [{'dateDeNaissance': 1989-09-14 00:00:00, 'enc...
4    [{'enceinte': False, 'dateDeNaissance': 1989-0...
Name: individus, dtype: object

我想使用每个词汇构建一个熊猫数据帧，如下所示：

t_individus.ix[:, ['dateDeNaissance', 'enceinte']].head()
Out[14]: 
       dateDeNaissance enceinte
0  1954-09-14 00:00:00    False
1  1984-09-14 00:00:00    False
2  1981-09-14 00:00:00    False
3  1989-09-14 00:00:00    False
4  1989-09-14 00:00:00    False

注意，我有更多的键（~50），但我在示例中显示了2个。你知道吗

我尝试了两种不同的方法，但我对处理速度并不完全满意：

1/连接

serie = data.foo  #  110199 lines
keys = get_all_possible_keys(serie)  # 48 keys (process time: 0.8s)
table = pd.DataFrame(columns=list(keys))

for i in serie:
    df = pd.DataFrame(list(i.items()))
    df = df.transpose()
    df.columns = df.iloc[0]
    df = df.reindex(df.index.drop(0))
    table = pd.concat([table, df], axis=0)

当table变大时，它开始快速下降，然后缓慢下降。整个过程大约需要1个小时。你知道吗

2/预先分配内存并逐行填充

serie = data.foo
keys = get_all_possible_keys(serie)
len_serie = len(serie)
# -- Pre-allocate memory by declaring size
table = pd.DataFrame(np.nan,
                     index=range(0, len_serie),
                     columns=list(keys))
# -- Fill row by row
k = 0
for i in serie:
    table.loc[k] = pd.Series(i[0])
    k += 1

处理时间取决于table的大小。对于一个子集（约10k行），速度要快得多，而对于完整的数据集（110k行），速度要慢得惊人。你知道吗

2个问题：

1. 当table很大（比方法1慢得多）而它只填充空行时，为什么方法2会变得这么慢？你知道吗
2. 有什么办法可以加快这个过程吗？你知道吗

Answer 1

这与@James的想法几乎相同，但在您的例子中，您有一系列的dict列表，您希望首先将其转换为dict列表或dict序列：

In [12]: s
Out[12]:
0    [{'a': 'aaa', 'b': 'bbb', 'c': 'ccc'}]
1       [{'a': 'a1', 'b': 'b1', 'c': 'c1'}]
dtype: object

In [13]: pd.DataFrame(s.sum())
Out[13]:
     a    b    c
0  aaa  bbb  ccc
1   a1   b1   c1

In [14]: s.sum()
Out[14]: [{'a': 'aaa', 'b': 'bbb', 'c': 'ccc'}, {'a': 'a1', 'b': 'b1', 'c': 'c1'}]

使用.tolist()：

In [15]: pd.DataFrame(s.tolist())
Out[15]:
                                      0
0  {'a': 'aaa', 'b': 'bbb', 'c': 'ccc'}
1     {'a': 'a1', 'b': 'b1', 'c': 'c1'}

Answer 2

我在过去发现，从dict列表构建数据帧的速度惊人地快。我的简单建议是

dataframe = pandas.DataFrame(data.foo.tolist())