Python中合并和删除重复id的最快方法

Question

我有两个不同的查询集，我需要合并在一起，然后删除任何重复的ID。有超过一百万张唱片。你知道吗

list_a = Wharehouse.orders.all().values_list('id', flat=True)
list_b = Shops.orders.all().values_list('id', flat=True)

有没有快速的Python方法？你知道吗

我可以考虑使用列表理解和循环每个值。但是，这可以在numpy中更好/更快地完成，或者是一套？输出只需要是一个ID列表。你知道吗

我使用的是安装了numpy1.11.0pip的python3.4和Django。你知道吗

Answer 1

假设list_a和list_b是整数列表，您可以使用np.union1d(list_a, list_b)。使用：

import numpy as np
N = 10**6
list_a = np.random.randint(2*10**6, size=N).tolist()
list_b = np.random.randint(2*10**6, size=N).tolist()

---

下面是一个基准测试，它表明^{}在应用于包含大约一百万个元素的列表时可能会更快：

In [32]: %timeit np.union1d(list_a, list_b)
1 loop, best of 3: 296 ms per loop

In [40]: %timeit set(list_a + list_b)
1 loop, best of 3: 308 ms per loop

In [31]: %timeit set(list_a).union(list_b)
1 loop, best of 3: 338 ms per loop

In [33]: %timeit list(set(list_a + list_b))
1 loop, best of 3: 382 ms per loop

当然，请注意，np.union1d返回一个NumPy数组，而set和list返回同名类型的Python对象，因此基准测试在某种程度上是一个苹果到橙色的比较。你知道吗