如何使用python将数据帧中行的每个值与之前行中的每个值进行比较？

Question

我有一个dataframe，看起来像这样（列和行的数量可能不同）：

                0         1         2
2015-01-02    ISIN1     ISIN2     ISIN3
2015-05-04    ISIN4     ISIN2     ISIN5
2015-09-01    ISIN4     ISIN5     ISIN6
2016-01-04    ISIN7     ISIN8     ISIN2
2016-05-02    ISIN9     ISIN7     ISIN10
2016-09-01    ISIN11    ISIN12    ISIN13
2017-01-02    ISIN11    ISIN12    ISIN14
2017-05-02    ISIN12    ISIN11    ISIN15
2017-09-01    ISIN12    ISIN16    ISIN17
2018-01-02    ISIN16    ISIN11    ISIN18
2018-05-02    ISIN4     ISIN8     ISIN7
2018-09-03    ISIN12    ISIN7     ISIN19
2019-01-02    ISIN20    ISIN21    ISIN22
2019-05-02    ISIN13    ISIN7     ISIN8
2019-09-02    ISIN23    ISIN24    ISIN15
2020-01-02    ISIN25    ISIN23    ISIN24
2020-05-04    ISIN24    ISIN26    ISIN4

我现在的任务是将每一行的每个值与前面的行的每个值进行比较。我想知道该值是否在前一行中。我想得到两个数据帧作为结果

1. 保留行中不在前的值：

                   0         1         2
   2015-01-02    ISIN1     ISIN2     ISIN3
   2015-05-04    ISIN4     ISIN5
   2015-09-01    ISIN6
   2016-01-04    ISIN7     ISIN8     ISIN2
   2016-05-02    ISIN9     ISIN10
   2016-09-01    ISIN11    ISIN12    ISIN13
   2017-01-02    ISIN14
   2017-05-02    ISIN15
   2017-09-01    ISIN16    ISIN17
   2018-01-02    ISIN11    ISIN18
   2018-05-02    ISIN4     ISIN8     ISIN7
   2018-09-03    ISIN12    ISIN19
   2019-01-02    ISIN20    ISIN21    ISIN22
   2019-05-02    ISIN13    ISIN7     ISIN8
   2019-09-02    ISIN23    ISIN24    ISIN15
   2020-01-02    ISIN25    
   2020-05-04    ISIN26    ISIN4
   

2. 将行中的值保留在以下值之前：

                   0         1         2
   2015-01-02    
   2015-05-04    ISIN2
   2015-09-01    ISIN4     ISIN5
   2016-01-04    
   2016-05-02    ISIN7
   2016-09-01    
   2017-01-02    ISIN11    ISIN12    
   2017-05-02    ISIN12    ISIN11    
   2017-09-01    ISIN12    
   2018-01-02    ISIN16    
   2018-05-02    
   2018-09-03    ISIN7
   2019-01-02    
   2019-05-02    
   2019-09-02    
   2020-01-02    ISIN23    ISIN24
   2020-05-04    ISIN24
   

到目前为止，我已经探索了：

for i in range(len(df)):
    print(np.isin(df.values[i, :], df.shift().values[i, :]))

创建以下内容：

[False False False]
[False  True False]
[ True  True False]
[False False False]
[False  True False]
[False False False]
[ True  True False]
[ True  True False]
[ True False False]
[ True False False]
[False False False]
[False  True False]
[False False False]
[False False False]
[False False False]
[False  True  True]
[ True False False]

通过将这些值附加到列表中，我将能够创建一个新的数据帧。但我认为一定有更好的办法

有没有人知道如何在不遍历数据帧的情况下实现这一点

多谢各位

致以最良好的祝愿， 内皮

Answer 1

嘿，也许你在找这样的东西：

data = {'first': ['ok', 'none', 'ok', 'ok', 'ok', 'ok', 'ok', 'ok', 'none', 'ok'],
        'second': [1, 3, 4, 7, 8, 2, 4, 9, 6, 9]}
df = pd.DataFrame(data, columns = ['first', 'second'])

df_results = df.eq(df.shift())
df_results.where(df_results != False, df)

希望能有所帮助