Pandas在多列上使用apply函数进行扩展

Question

是否可以使用panda的展开函数来计算使用窗口对象的几列进行多项式回归的系数

我有一个数据框，它有两列，一个预测器和一个响应。我想使用pandas的expanding（）函数来计算每个扩展序列对的二阶多项式回归的相应系数。对于每一行，我希望从应用于所有先前行的回归中获得更新的系数

import pandas as pd
import numpy as np

def func1(df):
   # some processing
   return np.polyfit(df['Input'], df['Response'], 2)
   
def func2(x, y):
   # some processing
   return np.polyfit(x, y, 2)

np.random.seed(0)
df = pd.DataFrame(np.random.rand(10, 2).round(2), 
                  columns=['Input', 'Response'])

df[['Coef1', 'Coef2', 'Coef3']] = df.expanding(min_periods=3).apply(func)

我希望输出如下所示：

>>> df

   Input Response Coef1  Coef2  Coef3
0  0.63  0.23     NaN    NaN    NaN
1  0.45  0.11     NaN    NaN    NaN
2  0.17  0.71     NaN    NaN    NaN
3  0.17  0.32     0.19   0.54   0.50
4  0.65  0.99     0.48   0.23   0.60
5  0.21  0.54     0.71   0.89   0.97
6  0.63  0.73     0.22   0.05   0.80
7  0.54  0.23     0.87   0.01   0.25
8  0.33  0.06     0.18   0.96   0.03
9  0.18  0.72     0.13   0.38   0.13

我的不同尝试导致了两种类型的错误。如果我使用使用dataframe作为参数的函数，比如在df[['Coef1', 'Coef2', 'Coef3']] = df.expanding(min_periods=3).apply(func1))中，我得到KeyError: 'Input'。 如果使用第二个函数在df['Coef1', 'Coef2', 'Coef3'] = df.expanding(min_periods=3).apply(lambda x: func2(x['Input'], x['Output']))之前提取参数，则 DataError: No numeric types to aggregate 但是，如果我尝试例如df.expanding().cov(pairwise=True)，它表明可以对expanding返回的对象的不同列执行计算。 这里有一个类似的问题：Apply expanding function on dataframe。但是，在函数中调用expansing（）的解决方案似乎不适用于这种情况。 如果有任何建议或建议，我将不胜感激

我发现了一个使用numpy:3jane.github.io/numpy_ext实现此功能的软件包，因此它启发我手动执行此操作：

def func_np(df):
    length = len(df)
    if length == 1:
        return [[0], [0], [0]]

    coef1, coef2, coef3 = [], [], []

    x = df['A'].to_numpy()  # This is the predictor column
    y = df['B'].to_numpy()  # This is the response column

    for step in range(1, length + 1):
        weights = np.polyfit(x[: step], y[: step], 2)  # 2 is the polynomial's order
        coef1.append(weights[0])
        coef2.append(weights[1])
        coef3.append(weights[2])
    # Note that coef1, coef2, coef3 correspond to the polynomial terms from highest to lowest

    # It is easier to return a data frame, so that we can reassign the result to the initial one
    return pd.DataFrame({'Coef1': coef1, 'Coef2': coef2, 'Coef3': coef3})

我想用Numba来加速执行，但它不识别np.polyfit函数。此外，我还没有找到一种将结果分配回初始数据帧的简洁方法。这就是为什么我仍然对使用expanding（）看到一个简单且更“pythonic”的解决方案感兴趣的原因

Answer 1

我怀疑您正在寻找的是即将到来的pandas=1.3中的新df.expanding(..., method='table')（请参见"Other enhancements"）

同时，您可以使用循环“手动”完成（抱歉）：

xy = df.values
df['c1 c2 c3'.split()] = np.stack([
    func2(*xy[:n].T) if n >= 3 else np.empty(3)*np.nan
    for n in range(xy.shape[0])
])

例如：

np.random.seed(0)
df = pd.DataFrame(np.random.rand(10, 2).round(2), 
                  columns=['Input', 'Response'])

# the code above, then

>>> df
   Input  Response         c1         c2        c3
0   0.55      0.72        NaN        NaN       NaN
1   0.60      0.54        NaN        NaN       NaN
2   0.42      0.65        NaN        NaN       NaN
3   0.44      0.89 -22.991453  22.840171 -4.887179
4   0.96      0.38 -29.759096  29.213620 -6.298277
5   0.79      0.53   0.454036  -1.369701  1.272156
6   0.57      0.93   0.122450  -0.874260  1.113586
7   0.07      0.09  -1.010312   0.623331  0.696287
8   0.02      0.83  -2.687387   2.995143 -0.079214
9   0.78      0.87  -1.425030   1.294210  0.442684