在groupbyapply操作期间追加列

Question

上下文

我有几个数据组（由3列w/I dataframe定义），希望对每组进行线性拟合，然后附加估计值（拟合的上下限）。在

问题

在执行操作之后，我得到了一个与最终vs原始数据帧形状相关的错误

演示问题的示例：

from io import StringIO       # modern python
#from StringIO import StringIO # old python
import numpy
import pandas

def fake_model(group, formula):
    # add the results to the group
    modeled = group.assign(
        fit=numpy.random.normal(size=group.shape[0]),
        ci_lower=numpy.random.normal(size=group.shape[0]),
        ci_upper=numpy.random.normal(size=group.shape[0])
    )

    return modeled

raw_csv = StringIO("""\
location,days,era,chemical,conc
MW-A,2415,modern,"Chem1",5.4
MW-A,7536,modern,"Chem1",0.21
MW-A,7741,modern,"Chem1",0.15
MW-A,2415,modern,"Chem2",33.0
MW-A,2446,modern,"Chem2",0.26
MW-A,3402,modern,"Chem2",0.18
MW-A,3626,modern,"Chem2",0.26
MW-A,7536,modern,"Chem2",0.32
MW-A,7741,modern,"Chem2",0.24
""")

data = pandas.read_csv(raw_csv)

modeled = (
    data.groupby(by=['location', 'era', 'chemical'])
        .apply(fake_model, formula='conc ~ days')
        .reset_index(drop=True)
)

这引起了一个很长的回溯，其关键是：

^{pr2}$

我知道我添加了三列，因此形成了（8，9）vs（8，6）的形状。在

我不明白的是，如果我以最轻微的方式检查dataframe子组，则会出现上述错误而不是：

def fake_model2(group, formula):
    _ = group.name
    return fake_model(group, formula)

modeled = (
    data.groupby(by=['location', 'era', 'chemical'])
        .apply(fake_model2, formula='conc ~ days')
        .reset_index(drop=True)
)

print(modeled)

产生：

  location  days     era chemical   conc  ci_lower  ci_upper       fit
0     MW-A  2415  modern    Chem1   5.40 -0.466833 -0.599039 -1.143867
1     MW-A  7536  modern    Chem1   0.21 -1.790619 -0.532233 -1.356336
2     MW-A  7741  modern    Chem1   0.15  1.892256 -0.405768 -0.718673
3     MW-A  2415  modern    Chem2  33.00  0.428811  0.259244 -1.259238
4     MW-A  2446  modern    Chem2   0.26 -1.616517 -0.955750 -0.727216
5     MW-A  3402  modern    Chem2   0.18 -0.300749  0.341106  0.602332
6     MW-A  3626  modern    Chem2   0.26 -0.232240  1.845240  1.340124
7     MW-A  7536  modern    Chem2   0.32 -0.416087 -0.521973 -1.477748
8     MW-A  7741  modern    Chem2   0.24  0.958202  0.634742  0.542667

问题

我的工作感觉太老套了，不能在任何实际应用程序中使用。有没有更好的方法来应用我的模型，并在更大的数据帧中包含对每个组的最佳拟合估计？在

Answer 1

是的，有一个非黑客的解决办法

In [18]: gr = data.groupby(['location', 'era', 'chemical'], group_keys=False)

In [19]: gr.apply(fake_model, formula='')
Out[19]:
  location  days     era chemical   conc  ci_lower  ci_upper       fit
0     MW-A  2415  modern    Chem1   5.40 -0.105610 -0.056310  1.344210
1     MW-A  7536  modern    Chem1   0.21  0.574092  1.305544  0.411960
2     MW-A  7741  modern    Chem1   0.15 -0.073439  0.140920 -0.679837
3     MW-A  2415  modern    Chem2  33.00  1.959547  0.382794  0.544158
4     MW-A  2446  modern    Chem2   0.26  0.484376  0.400111 -0.450741
5     MW-A  3402  modern    Chem2   0.18 -0.422490  0.323525  0.520716
6     MW-A  3626  modern    Chem2   0.26 -0.093855 -1.487398  0.222687
7     MW-A  7536  modern    Chem2   0.32  0.124983 -0.484532 -1.162127
8     MW-A  7741  modern    Chem2   0.24 -1.622693  0.949825 -1.049279

这实际上也为您节省了.reset_index：）

group_keys是错误背后的元凶。 大熊猫身上的这种可能的病菌来自于每一组的正常concat。用group_keys=True那就是

^{pr2}$

熊猫们没想到。这闻起来像是熊猫身上的虫子，但还没有进一步挖掘证实。在