我的源数据在一个TSV文件中,有6列,超过200万行。
以下是我要完成的任务:
下面是我想到的。
我的问题是:这是一种有效的方法吗?当在200万行上尝试时,它看起来可能很密集。
首先,我制作了一个单独的示例选项卡文件,并将其命名为“sample.txt”。它是基本的,只有四行:
Row1_Column1 Row1-Column2 Row1-Column3 Row1-Column4 2 Row1-Column6
Row2_Column1 Row2-Column2 Row2-Column3 Row2-Column4 3 Row2-Column6
Row3_Column1 Row3-Column2 Row3-Column3 Row3-Column4 1 Row3-Column6
Row4_Column1 Row4-Column2 Row4-Column3 Row4-Column4 2 Row4-Column6
然后我有了这个密码:
import csv
with open('sample.txt','r') as tsv:
AoA = [line.strip().split('\t') for line in tsv]
for a in AoA:
count = int(a[4])
while count > 0:
with open('sample_new.csv', 'a', newline='') as csvfile:
csvwriter = csv.writer(csvfile, delimiter=',')
csvwriter.writerow([a[2], a[3]])
count = count - 1
您应该使用
csv
模块读取制表符分隔的值文件。不要一次把它读入记忆。毕竟,读取的每一行都包含了将行写入输出CSV文件所需的所有信息。始终保持输出文件打开。或者,使用} 执行重复操作:
itertools
模块对^{相关问题 更多 >
编程相关推荐