在Python中查找重复行

Question

我有一个txt文件，里面有几行，我想知道：
此文件是否具有相同的行？在

例如，以下是我的台词：

7924265e2024daa24f801290d070a519
f1cbfec6b396152da87e6a4279a4ad81
8d1a705ed05f734a03e890db5467ea0a
021128daa2fb3dc8b7c5af9e49e24439
e2ec22e390c5910eb4e952208bb1c47d
8d1a705ed05f734a03e890db5467ea0a
7f65a7f8a160431cc8f69cd1f04b0aba
d8e5f74f296cd47a30915bbbd2418d66
005f8b973ebe30fd19b1bf802ffb6b32

Answer 1

我假设您已经读入了这些行并将它们存储在一个数组中

lines

然后

^{pr2}$

提供一个包含所有唯一行的集合。如果每一行都是唯一的，那么行和集合（行）的长度将是相同的。因此：

if len(lines) == len(set(lines)):
      print 'all lines are unique'
   else:
      print 'not all lines are unique'

Answer 2

很有魅力：

with open("file","r") as f:
    seen = set()
    for line in f:
        line_lower = line.lower()
        if line_lower in seen:
            print(line)
        else:
            seen.add(line_lower)