Python中分组数据的累积自定义函数

Question

我希望在pandas DataFrame上创建一个retention函数，它在数据的分组部分上运行累积函数。在

我想做一些类似于Rplyr包所做的事情

假设我有一些虚拟数据：

df = pd.DataFrame({'x' : np.repeat(np.arange(1,11), 5), 
               'y': np.tile(np.arange(1,6), 10)} )

这给了我们（仅显示10行第一行）：

^{pr2}$

在本例中，“x”是我要分组的列，“y”是我要运行函数的列。在

该函数是一个保留函数，它将某个因子应用于前一个和，并将其添加到当前值。在代码形式中，函数应该是这样的（可能是更好的方法）：

def retention(x, r):
    n = len(x)
    D = np.zeros(n)
    D[0] = x[0]

    for i in range(1,n):
        D[i] = r*D[i - 1] +x[i]

    return D

不过，我希望函数本质上是在一个新的x值的开始处重新开始。在

结果应该如下所示：

   x  y
0  1  1
1  1  2.25
2  1  3.5625
3  1  4.890625
4  1  6.22265625
5  2  1
6  2  2.25
7  2  3.5625
8  2  4.890625
9  2  6.22265625

我需要足够灵活的解决方案，以便我可以按任意数量的列进行分组，并且组的长度可变。在

我试过好几种方法，但都没有找到解决办法。在

例如，这不起作用：

grouped = df.groupby('x')
grouped.apply(lambda x: retention(df['y'],.25))

注意：在使用plyr包之前，我已经在R中完成了此操作：

retention = function(x , r) {
  n =length(x)
  D = rep(0, n)
  D[1] = x[1]
  for (i in 2:n) {

    D[i]=r*D[i-1] + x[i]

  }
  return(D)
}

x = rep(1:10, each = 5)
y = rep(1:5, 10)
df = data.frame(x,y)

ddply(df, .(x),  summarize, y = retention (y, .25))

Answer 1

有趣的问题。 看起来你的衰变因子，如果这么说的话，是0.25，以下两个步骤可以达到预期效果（打印前10个观察结果，结果称为z）：

In [67]:

z = df.groupby('x').y.apply(lambda x: np.convolve(x, np.power(0.25, range(len(x)))[:len(x)], mode='full')[:len(x)])
print z
x
1     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
2     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
3     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
4     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
5     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
6     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
7     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
8     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
9     [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
10    [1.0, 2.25, 3.5625, 4.890625, 6.22265625]
Name: y, dtype: object
In [68]:

print pd.concat([pd.DataFrame({'x': i, 'z': v}) for i, v in zip(z.index.values, z.values)]).head(10)
   x         z
0  1  1.000000
1  1  2.250000
2  1  3.562500
3  1  4.890625
4  1  6.222656
0  2  1.000000
1  2  2.250000
2  2  3.562500
3  2  4.890625
4  2  6.222656

基本上，使用numpy.convolve完成累积和运算（带因子）。剩下的是直接的：只需groupby将数据分组，应用convolve，然后{}将结果放在一起。在