基于不完全匹配的时间戳的pandas合并

Question

有哪些方法可用于合并时间戳不完全匹配的列？

DF1型：

date    start_time  employee_id session_id
01/01/2016  01/01/2016 06:03:13 7261824 871631182

DF2型：

date    start_time  employee_id session_id
01/01/2016  01/01/2016 06:03:37 7261824 871631182

我可以在['日期'，'员工id'，'会话id']加入，但有时同一个员工在同一日期会有多个相同的会话，这会导致重复。我可以删除发生这种情况的行，但如果这样做，我将丢失有效会话。

如果DF1的时间戳与DF2的时间戳相差<；5分钟，并且会话id和员工id也匹配，是否有有效的方法加入？如果有匹配的记录，那么时间戳总是比DF1稍晚，因为事件是在未来某个点触发的。

['employee_id', 'session_id', 'timestamp<5minutes']

编辑-我以为以前会有人遇到这个问题。

我在想这样做：

1. 在每个数据帧上记下我的时间戳
2. 创建一个时间戳+5分钟（四舍五入）的列
3. 创建一个时间戳为-5分钟（四舍五入）的列

4. 创建一个10分钟的间隔字符串以连接上的文件

   df1['low_time'] = df1['start_time'] - timedelta(minutes=5)
   df1['high_time'] = df1['start_time'] + timedelta(minutes=5)
   df1['interval_string'] = df1['low_time'].astype(str) + df1['high_time'].astype(str)
   

有人知道如何把这5分钟的间隔精确到5分钟吗？

02:59:37-5分钟=02:55:00

02:59:37+5分钟=03:05:00

间隔字符串='02:55:00-03:05:00'

pd.merge(df1, df2, how = 'left', on = ['employee_id', 'session_id', 'date', 'interval_string']

有人知道怎么打发时间吗？这似乎是可行的。您仍然根据日期、员工和会话进行匹配，然后查找基本上在相同的10分钟间隔或范围内的时间

Answer 1

我会尝试在熊猫身上使用这种方法：

^{}

你感兴趣的参数是direction、tolerance、left_on和right_on

构建@Igor答案：

import pandas as pd
from pandas import read_csv
from io import StringIO

# datetime column (combination of date + start_time)
dtc = [['date', 'start_time']]

# index column (above combination)
ixc = 'date_start_time'

df1 = read_csv(StringIO(u'''
date,start_time,employee_id,session_id
01/01/2016,02:03:00,7261824,871631182
01/01/2016,06:03:00,7261824,871631183
01/01/2016,11:01:00,7261824,871631184
01/01/2016,14:01:00,7261824,871631185
'''), parse_dates=dtc)

df2 = read_csv(StringIO(u'''
date,start_time,employee_id,session_id
01/01/2016,02:03:00,7261824,871631182
01/01/2016,06:05:00,7261824,871631183
01/01/2016,11:04:00,7261824,871631184
01/01/2016,14:10:00,7261824,871631185
'''), parse_dates=dtc)



df1['date_start_time'] = pd.to_datetime(df1['date_start_time'])
df2['date_start_time'] = pd.to_datetime(df2['date_start_time'])

# converting this to the index so we can preserve the date_start_time columns so you can validate the merging logic
df1.index = df1['date_start_time']
df2.index = df2['date_start_time']
# the magic happens below, check the direction and tolerance arguments
tol = pd.Timedelta('5 minute')
pd.merge_asof(left=df1,right=df2,right_index=True,left_index=True,direction='nearest',tolerance=tol)

output

date_start_time date_start_time_x   employee_id_x   session_id_x    date_start_time_y   employee_id_y   session_id_y

2016-01-01 02:03:00 2016-01-01 02:03:00 7261824 871631182   2016-01-01 02:03:00 7261824.0   871631182.0
2016-01-01 06:03:00 2016-01-01 06:03:00 7261824 871631183   2016-01-01 06:05:00 7261824.0   871631183.0
2016-01-01 11:01:00 2016-01-01 11:01:00 7261824 871631184   2016-01-01 11:04:00 7261824.0   871631184.0
2016-01-01 14:01:00 2016-01-01 14:01:00 7261824 871631185   NaT NaN NaN