分组数据帧中的有效循环，以访问当前和以前索引的值（并计算差异）

Question

我有一个大的数据框，如下所示。数据按id和OnTime排序

    id  OnTime              OffTime
0   1   2017-08-01 09:38:17 2017-08-01 09:49:31
1   1   2017-08-01 09:53:15 2017-08-01 09:54:50
2   1   2017-08-01 09:57:29 2017-08-01 10:10:42
3   2   2017-08-01 09:02:00 2017-08-01 09:27:15
4   2   2017-08-01 09:29:15 2017-08-01 09:43:41

如果id相同，我需要计算当前OnTime和前一OffTime之间的时间差(这种差异称为时间间隔（timeSince）

在Python中寻找一种有效的方法。数据帧大约有40万行。我考虑过按ids分组，但我不完全确定如何迭代和计算时差

输出应如下所示：

timeSince
-1 #since this is the 1st row of ID 1 no previous OffTime exists
3.7333333333333334
2.65
-1 #since this is the 1st row of ID 2 no previous OffTime exists
2.0

Answer 1

您可以尝试使用^{}然后^{}OffTime再1。由于输出是^{}，我们需要使用^{}转换它，然后取总数seconds，然后除以60(1minute = 60seconds)。最后使用^{}用-1填充NaN值，然后使用^{}。结果是：

import pandas as pd

df['OnTime'] = pd.to_datetime(df['OnTime'])
df['OffTime'] = pd.to_datetime(df['OffTime'])

df['timeSince']=df.groupby('id').apply(lambda x: x['OnTime']-x['OffTime'].shift(1)).\
                                 apply(lambda x: x.seconds/60).fillna(-1).\
                                 reset_index(drop=True)
df

   id                OnTime             OffTime timeSince
0   1   2017-08-01 09:38:17 2017-08-01 09:49:31 -1.000000
1   1   2017-08-01 09:53:15 2017-08-01 09:54:50  3.733333
2   1   2017-08-01 09:57:29 2017-08-01 10:10:42  2.650000
3   2   2017-08-01 09:02:00 2017-08-01 09:27:15 -1.000000
4   2   2017-08-01 09:29:15 2017-08-01 09:43:41  2.000000