导入500GB文本文件的最快方式，只选取所需部分

Question

我有大约500GB的文本文件分开几个月。在这些文本文件中，前43行只是连接信息（不需要）。接下来的75行是观察的描述。接下来是4行（不需要），然后是下一个75行的观察。在

我想要的就是这75行（每一个观察的描述词都在同一个地方），它们的特征如下：

ID: 5523
Date: 20052012
Mixed: <Null>
.
.

我想把每次观察都改成csv格式5523;20052012;;..。所以我得到了更小的文本文件。因为描述符是相同的，我知道第一个位置，例如ID

一旦我完成了文本文件，我将打开下一个并附加它（或者创建一个新文件会更快吗？）。在

我所做的工作效率很低我一直在打开文件。正在加载。逐行删除这些观察结果。如果它是采取一个公平的一点测试样本，这显然不是最好的方法。在

有什么建议都很好。在

Answer 1

你应该考虑把你想保存的信息写入数据库。在python中，可以使用内置的sqlite3。关于docs很容易理解。在

你说你现在正是你想要保存的每个文件中的行。所以你可以试试这个。在

    import csv
    reader = csv.reader(open("afile.csv","rb"),delimiter="\t",quotechar='"')
    info_to_keep = []
    obs = []
    for row in reader:
       i+=1
       if i<43:
           continue
       elif i-43 <79*(len(info_to_keep)+1)-4:
           obs.append(row)
       elif i-43 <79*(len(info_to_keep)+1):
           continue
       else:
           info_to_keep.append(obs)
           obs = [row]

这样你就可以有一个名为info_的列表来保存每个条目，每个条目都包含一个包含来自csv文件的字段的列表