使用groupby对象pandas编辑数据帧条目

Question

考虑以下数据帧：

     index      count     signal
       1          1         1
       2          1        NAN
       3          1        NAN
       4          1        -1
       5          1        NAN
       6          2        NAN
       7          2        -1
       8          2        NAN
       9          3        NAN
       10         3        NAN
       11         3        NAN
       12         4        1
       13         4        NAN
       14         4        NAN

我需要在'signal'中'ffill'nan，并且具有不同'count'值的值不应相互影响。这样我就可以得到以下数据帧：

^{pr2}$

现在，我在groupbyobject中迭代每个数据帧，填充NAN值，然后复制到一个新的数据帧：

new_table = np.array([]); 
for key, group in df.groupby('count'):
    group['signal'] = group['signal'].fillna(method='ffill')
    group1 = group.copy()
    if new_table.shape[0]==0:
        new_table = group1
    else:
        new_table = pd.concat([new_table,group1])

哪种方法可行，但考虑到数据帧很大，速度非常慢。我想知道是否有其他方法可以使用或不使用groupby方法。谢谢！在

编辑：

感谢Alexander和jwilner提供了替代方法。不过，这两种方法对于我的大数据帧来说都非常慢，它有80万行数据。在

Answer 1

另一种解决方案是创建一个透视表，向前填充值，然后将它们映射回原始数据帧。在

df2 = df.pivot(columns='count', values='signal', index='index').ffill()
df['signal'] = [df2.at[i, c] 
                for i, c in zip(df2.index, df['count'].tolist())]
>>> df
    count  index  signal
0       1      1       1
1       1      2       1
2       1      3       1
3       1      4      -1
4       1      5      -1
5       2      6     NaN
6       2      7      -1
7       2      8      -1
8       3      9     NaN
9       3     10     NaN
10      3     11     NaN
11      4     12       1
12      4     13       1
13      4     14       1

对于800k行数据，这种方法的有效性取决于“count”中有多少个唯一值。在

与我之前的回答相比：

^{pr2}$

最后，您可以简单地使用groupby，尽管它比前面的方法慢：

df.groupby('count').ffill()
Out[191]: 
    index  signal
0       1       1
1       2       1
2       3       1
3       4      -1
4       5      -1
5       6     NaN
6       7      -1
7       8      -1
8       9     NaN
9      10     NaN
10     11     NaN
11     12       1
12     13       1
13     14       1

%%timeit
df.groupby('count').ffill()

100 loops, best of 3: 3.55 ms per loop