比较python中两个巨大csv文件的最快方法（numpy）

Question

我正在尝试在两个相当大的csv文件之间找到intesect子集 电话号码（一个有60万行，另一个有30万行）。我目前使用pandas打开这两个文件，然后将所需的列转换为1d numpy数组，然后使用numpiintersect获得交集。有没有更好的方法可以做到这一点，无论是使用python还是其他方法。谢谢你的帮助

import pandas as pd
import numpy as np

df_dnc = pd.read_csv('dncTest.csv', names = ['phone'])
df_test = pd.read_csv('phoneTest.csv', names = ['phone'])

dnc_phone = df_dnc['phone']
test_phone = df_test['phone']

np.intersect1d(dnc_phone, test_phone)

Answer 1

1. 将60万个电话号码读入set。在
2. 逐行输入较大的文件，对照集合检查每一行。在
3. 立即将匹配项写入输出文件。在

这样你就不必一次将所有数据加载到内存中。在