我有两个数据帧dfA和dfB,如下所示:
dfA =
entityId entityName property value
0 1 bob propA a
1 1 bob propB b
2 1 bob propC c
3 2 dave propA aa
4 2 dave propC c
5 3 bob propA a
6 3 bob propB bb
7 3 bob propD d
8 4 alex propE ee
9 4 alex propF fff
dfB =
entityId entityValid property value propValid propId
0 123 yes propA a yes 1
1 123 yes propB b yes 2
2 123 yes propC c yes 3
3 124 no propA aa no 4
4 124 no propC c yes 3
5 125 not sure propA a yes 1
6 125 not sure propB bb yes 5
7 125 not sure propD d yes 6
8 126 no propE ee yes 7
9 126 no propF FF yes 8
我想知道的是,在属性和值列方面,dfA中的实体是否与dfB中的实体完全匹配
将数据帧拆堆并首先在一行中表示每个实体最有意义吗?我期待的最终结果将是这样的东西,然而,任何有关如何处理问题的意见是赞赏的
resultDf =
entityId entityName dfBEntityIdMatch valid invalidProps
0 1 bob 123 yes ()
1 2 dave 124 no (4)
2 3 bob 125 not sure ()
3 4 alex '---' '---' '---'
提前谢谢
生成数据帧的代码:
import pandas as pd
pd.set_option('display.max_columns',20)
dfA = pd.DataFrame([[1, 'bob', 'propA', 'a'],
[1, 'bob', 'propB', 'b' ],
[1, 'bob', 'propC', 'c' ],
[2, 'dave', 'propA', 'aa' ],
[2, 'dave', 'propC', 'c' ],
[3, 'bob', 'propA', 'a' ],
[3, 'bob', 'propB', 'bb' ],
[3, 'bob', 'propD', 'd' ],
[4, 'alex', 'propE', 'ee' ],
[4, 'alex', 'propF', 'fff' ]],
columns=['entityId', 'entityName', 'property', 'value'])
dfB = pd.DataFrame([[123, 'yes', 'propA', 'a', 'yes', 1],
[123, 'yes', 'propB', 'b', 'yes', 2],
[123, 'yes', 'propC', 'c', 'yes', 3],
[124, 'no', 'propA', 'aa', 'no', 4],
[124, 'no', 'propC', 'c', 'yes', 3],
[125, 'not sure', 'propA', 'a', 'yes', 1 ],
[125, 'not sure', 'propB', 'bb', 'yes', 5 ],
[125, 'not sure', 'propD', 'd', 'yes', 6 ],
[126, 'no', 'propE', 'ee', 'yes', 7],
[126, 'no', 'propF', 'FF', 'yes', 8 ]],
columns=['entityId', 'entityValid', 'property', 'value', 'propValid', 'propId'])
这里有一种方法可以获得与预期输出类似的结果,至少在您提供的数据上是这样。首先在dfB中创建“invalidProps”列
现在您可以独立地使用
groupby
数据帧和agg
使用不同的方法。如果实际数据在数据帧之间的顺序不同,则需要首先按“property”和“value”进行sort_values
现在您可以
merge
在“property”和“value”上使用fillna
替换nan值,drop
替换不必要的列,rename
替换要保留的列:你会得到这样的结果:
相关问题 更多 >
编程相关推荐