在python中不切片NaN值

Question

我是python新手，非常感谢您的帮助！ 我有一个名为result的数据帧，格式如下：

start       end         rf1 rf2 rf3
01-01-2008  10-01-2008  nan 12  nan
02-01-2008  11-01-2008  nan 16  nan
03-01-2008  12-01-2008  32  18  18

我想在每一行中列出那些不是NaN的rfs。请注意，我的前两列不是索引。我尝试了以下代码，但无法得到答案：

result_2=result.dropna(axis=1,how='all')

基本上，我想要一个rfs不支持的日期列表。 对于第一行中的ex，我的输出应该给我开始日期、结束日期和“rf2”，类似地，在最后一行中，我的输出应该给我开始日期、结束日期、“rf1”、“rf2”、“rf3”

Answer 1

使用.select\u dtypes排除不需要的列，并查找剩余满足条件的列

df2=df.select_dtypes(exclude='object').notna()#Excludes the dates

将列转换为numpy数组

t=df2.columns.to_numpy()

生成一个系列，其中布尔列被选择为NOTNULL并连接到df

df.join(pd.DataFrame({'listofcols':[t[i] for i in df2.to_numpy()]}))

       start         end   rf1  rf2   rf3       listofcols
0  01-01-2008  10-01-2008   NaN   12   NaN            [rf2]
1  02-01-2008  11-01-2008   NaN   16   NaN            [rf2]
2  03-01-2008  12-01-2008  32.0   18  18.0  [rf1, rf2, rf3]

如果对常规列表或dataframe中不为空的所有列感兴趣

df.notna().any(0).index.tolist()#find any nan on taxis=0 and add to list


 ['start', 'end', 'rf1', 'rf2', 'rf3']

Answer 2

IIUC您可以使用^{}在rfX列上进行筛选后groupby索引并从结果组构建列表：

df.filter(regex=r'rf\d').stack().groupby(level=0).agg(list)

0                [12.0]
1                [16.0]
2    [32.0, 18.0, 18.0]
dtype: object

或使用列表理解：

[[i for i in row if i==i] for row in df.filter(regex=r'rf\d').values.tolist()]
 [[12.0], [16.0], [32.0, 18.0, 18.0]]

或者如果您需要列名

df['vals'] = df.filter(regex=r'rf\d').stack().reset_index(level=1)\
                                     .groupby(level=0).level_1.agg(list)

print(df)

       start        end   rf1  rf2   rf3             vals
0 2008-01-01 2008-10-01   NaN   12   NaN            [rf2]
1 2008-02-01 2008-11-01   NaN   16   NaN            [rf2]
2 2008-03-01 2008-12-01  32.0   18  18.0  [rf1, rf2, rf3]

Answer 3

IIUC，您可以使用pd.melt和join

s = (
    pd.melt(df, id_vars=["start", "end"])
    .dropna()
    .groupby(["start", "end"])["variable"]
    .agg(list)
    .to_frame("vals")
)

df1 = df.set_index(['start','end']).join(s)

print(df1)

                        rf1  rf2   rf3             vals
start      end                                         
2008-01-01 2008-10-01   NaN   12   NaN            [rf2]
2008-02-01 2008-11-01   NaN   16   NaN            [rf2]
2008-03-01 2008-12-01  32.0   18  18.0  [rf1, rf2, rf3]