Numpy/Pandas：基于一个数组高效地合并两个Numpy数组

Question

我有两个numpy数组，由两个集合元组组成：

a = [(1, "alpha"), (2, 3), ...]
b = [(1, "zylo"), (1, "xen"), (2, "potato", ...]

元组中的第一个元素是标识符，在两个数组之间共享，因此我想创建一个新的numpy数组，如下所示：

[(1, "alpha", "zylo", "xen"), (2, 3, "potato"), etc...]

我目前的解决方案可行，但对我来说效率太低了。看起来像这样：

aggregate_collection = []
for tuple_set in a:
  for tuple_set2 in b:
    if tuple_set[0] == tuple_set2[0] and other_condition:
      temp_tup = (tuple_set[0], other tuple values)
      aggregate_collection.append(temp_tup)

我怎样才能有效地做到这一点

Answer 1

我将把它们连接到一个数据帧中，然后groupby+agg

(pd.concat([pd.DataFrame(a), pd.DataFrame(b)])
   .groupby(0)
   .agg(lambda s: [s.name, *s])[1])

其中0和1是通过pd.DataFrame创建数据帧时给出的默认列名。将其更改为您的列名

Answer 2

In [278]: a = [(1, "alpha"), (2, 3)]
     ...: b = [(1, "zylo"), (1, "xen"), (2, "potato")]
In [279]: a
Out[279]: [(1, 'alpha'), (2, 3)]
In [280]: b
Out[280]: [(1, 'zylo'), (1, 'xen'), (2, 'potato')]

请注意，如果我尝试从a生成一个数组，我会得到完全不同的结果

In [281]: np.array(a)
Out[281]: 
array([['1', 'alpha'],
       ['2', '3']], dtype='<U21')
In [282]: _.shape
Out[282]: (2, 2)

defaultdict是收集类似键控值的便捷工具

In [283]: from collections import defaultdict
In [284]: dd = defaultdict(list)
In [285]: for tup in a+b:
     ...:     k,v = tup
     ...:     dd[k].append(v)
     ...: 
In [286]: dd
Out[286]: defaultdict(list, {1: ['alpha', 'zylo', 'xen'], 2: [3, 'potato']})

它可以转换为元组列表，具有：

In [288]: [(k,*v) for k,v in dd.items()]
Out[288]: [(1, 'alpha', 'zylo', 'xen'), (2, 3, 'potato')]

我使用a+b加入列表，因为元组出现在哪里显然无关紧要

Out[288]甚至是一个糟糕的numpy匹配，因为元组的大小不同，并且项目（第一个项目除外）可能是字符串或数字