在Pandas中，如何用另一个给定相似索引的数据帧中的值修补缺失值的数据帧？

Question

从 Fill in missing row values in pandas dataframe

我有下面的数据帧，我想填补缺失的值。在

mukey   hzdept_r    hzdepb_r    sandtotal_r silttotal_r
425897      0         61        
425897      61        152          5.3         44.7
425911      0         30           30.1        54.9
425911      30        74           17.7        49.8
425911      74        84        

我希望每个缺失的值都是对应于该mukey的值的平均值。在这种情况下，例如，第一行缺失值将是mukey==425897的sandtool_r和silttotal_r的平均值。熊猫菲尔娜似乎没有做到这一点。有什么帮助吗？在

---

虽然代码适用于该示例中的示例数据帧，但它在我上载到此处的较大数据集上失败：https://www.dropbox.com/s/w3m0jppnq74op4c/www004.csv?dl=0

^{pr2}$

我得到了一个错误：InvalidIndexError。为什么不起作用？在

Answer 1

问题是索引值重复。当您使用df1.fillna(df2)时，如果df1中有多个NaN条目的索引和列标签都是相同的，pandas在尝试分割df1时会感到困惑，并抛出InvalidIndexError。在

您的示例数据帧工作正常，因为即使有重复的索引值，每个索引值中只有一个是空的。在某些情况下，较大的数据帧包含共享索引值和列标签的空项。在

要使其工作，您可以一次只做一列。由于某些原因，当操作一个序列时，pandas不会被同一索引的多个条目混淆，而只会在每个条目中填充相同的值。因此，这应该是有效的：

import pandas as pd
df = pd.read_csv('www004.csv')
# CSV file is here: https://www.dropbox.com/s/w3m0jppnq74op4c/www004.csv?dl=0
df1 = df.set_index('mukey')
grouped = df.groupby('mukey').mean()
for col in ['sandtotal_r', 'silttotal_r']:
    df1[col] = df1[col].fillna(grouped[col])
df1.reset_index()

注意：如果您在填充的数据帧中有“额外”数据，请小心使用combine_first方法。combine_first函数将包含从中填充的数据帧中的所有索引，即使它们不在原始数据帧中。在