如何在大Pandas中寻找同一个文件并进行比较

Question

我有一些目录和文件

Directory1

file1
file2
file3

Directory2

file1
file2
file3

我想比较每个目录中的每个文件

我试过了

'glob.glob'

以及

'读取csv'

我想我应该申请的

'差异' 方法

但我不知道下一步该怎么办。 如何比较每个目录中的同名文件

Answer 1

如果您可以读取csv文件并转换为数据帧，那么这个link可能很有用

Answer 2

您可以在dict中生成文件内容的md5校验和，并搜索等于校验和

import glob
import hashlib

example = dict(('%s' % _, hashlib.md5(open('%s' % _, 'rb').read()).hexdigest()) for _ in glob.glob('*'))

{'file1': 'b026324c6904b2a9cb4b88d6d61c81d1', 'file2': '26ab0db90d72e28ad0ba1e22ee510510', 'file3': '26ab0db90d72e28ad0ba1e22ee510510', 'file4': '48a24b70a0b376535542b996af517398'}

Answer 3

你能详细说明一下你所说的比较是什么意思吗

为了获得目录中的文件列表，可以使用os.listdir('directory_path')，然后可以遍历该列表并将其与引用文件进行比较。 另外，这个link告诉您如何比较pandas中两个数据帧的内容