如何在python中输入一个1000万行的大文件？

Question

我想用python分析一个有1000万用户和密码的文件。文件为文本格式。以下是一些数据行：

0000    00000000
0000    00001
0000    00001111
0000    000099
0000    00009999
0000    0000w
0000    5927499
0000    634252
0000    6911703
0000    701068

在python中，我使用以下代码来读取文件：

^{pr2}$

上面的代码需要几秒钟才能运行。保存在列表中的数据如下所示：

>>>a[0:2]
['0000\t00000000\n', '0000\t00001\n']

要提取我使用的用户和密码：

b=[]
for i in a:
    b.append(i.split('\t'))

问题是，上面的代码在很长时间后遇到内存错误，我无法区分用户和密码。在

你有什么解决办法的建议吗？在

Answer 1

只需迭代每一行，然后根据制表符进行拆分，然后将返回的列表附加到已声明的列表l。在

l = []
with open('10-million-combos.txt','r') as f:
    for line in f:
        l.append(line.strip().split('\t'))