比较两个在Python中有一百万条记录的文件中的数据

Question

我有两个文件旧.txt以及新建.txt包含数十万个数据（大约120万个密钥和相应的数量）

在新建.txt在

key |amount
abgc-nhd|8976
mkis-plqa-d|-254
mjsnh-kis-ls|987
njud-lo-sa|5291
mkjsh-kis-ls|686
mjsnh-fis-ls|387
njudd-kid-ls|-876
nswxd-lo-sa|3191
mki-ksjd-as|-56

在旧.txt在

^{pr2}$

我想比较一下这两个文件。在

我想检查旧文件中的密钥是否与新文件中的密钥匹配文件。如果是的，那我得比较一下他们的数量。在

我尝试将所有值插入字典，然后检查条目是否存在，但这需要更长的时间，系统会被挂起。在

有没有其他方法可以根据密钥比较这两个文件。在

谢谢。在

Answer 1

如果你能使用熊猫，你可以做如下操作：

new_txt = """key |amount
abgc-nhd|8976
mkis-plqa-d|-254
mjsnh-kis-ls|987
njud-lo-sa|5291
mkjsh-kis-ls|686
mjsnh-fis-ls|387
njudd-kid-ls|-876
nswxd-lo-sa|3191
mki-ksjd-as|-56"""

old_txt  = """key |amount
mkjsh-kis-ls|686
njudd-kid-ls|-876
abgc-nhd|8976
mjsnh-kis-ls|987
njud-lo-sa|5291
mjsnh-fis-ls|387
mkis-plqa-d|-254
nswxd-lo-sa|3191"""


import pandas as pd
import io

df_new = pd.DataFrame.from_csv(io.StringIO(new_txt), sep="|")
df_old = pd.DataFrame.from_csv(io.StringIO(old_txt), sep="|")

print(df_new - df_old)

以下为示例数据：

^{pr2}$

NaN表示该密钥只存在于一个集合中。在