寻找在Python中重新组织大型CSV文件的更高效方法

Question

我一直在处理一个问题，我从一个大的output.txt文件中获取数据，现在必须以.csv的形式解析和重新组织某些值。在

我已经编写了一个脚本，根据数据类型（航班ID、纬度、经度等），将所有数据按列输入到.csv中，但顺序不正确。所有值都将根据相同的航班ID进行分组，从最早的时间戳到最晚的时间戳。幸运的是，my.csv的所有值都按正确的时间顺序排列，但没有根据航班ID进行适当的分组

为了澄清我的描述，现在看起来像这样

（“时间x”只是为了说明）：

20110117559515, , , , , , , , ,2446,6720,370,42  (Time 0)                               
20110117559572, , , , , , , , ,2390,6274,410,54  (Time 0)                               
20110117559574, , , , , , , , ,2391,6284,390,54  (Time 0)                               
20110117559587, , , , , , , , ,2385,6273,390,54  (Time 0)                               
20110117559588, , , , , , , , ,2816,6847,250,32  (Time 0) 
... 

它应该是这样订购的：

^{pr2}$

在.csv I输出中有130万行可以简化操作。我99%相信我编写的下一个脚本中的逻辑是正确的，但我担心的是它效率极低。最后，我添加了一个进度条来查看它是否有任何进展，不幸的是，我看到的是：

以下是我处理压缩的代码（如果愿意，请跳到问题区域）：

## a class I wrote to handle the huge .csv's ##
from BIGASSCSVParser import BIGASSCSVParser               
import collections                                                              


x = open('newtrajectory.csv')  #file to be reordered                                                  
linetlist = []                                                                  
tidict = {}               

'' To save braincells I stored all the required values
   of each line into a dictionary of tuples.
   Index: Tuple ''

for line in x:                                                                  
    y = line.replace(',',' ')                                                   
    y = y.split()                                                               
    tup = (y[0],y[1],y[2],y[3],y[4])                                            
    linetlist.append(tup)                                                       
for k,v in enumerate(linetlist):                                                
    tidict[k] = v                                                               
x.close()                                                                       


trj = BIGASSCSVParser('newtrajectory.csv')                                      
uniquelFIDs = []                                                                
z = trj.column(0)   # List of out of order Flight ID's                                                     
for i in z:         # like in the example above                                                           
    if i in uniquelFIDs:                                                        
        continue                                                                
    else:                                                                       
        uniquelFIDs.append(i)  # Create list of unique FID's to refer to later                                               

queue = []                                                                              
p = collections.OrderedDict()                                                   
for k,v in enumerate(trj.column(0)):                                            
    p[k] = v  

到目前为止一切都很好，但在下一个环节，我的电脑要么卡住了，要么我的代码糟透了：

for k in uniquelFIDs:                                                           
    list = [i for i, x in p.items() if x == k]                                  
    queue.extend(list)                                                          

其思想是，对于每个唯一的值，按顺序迭代130万个值，然后按顺序返回每个引用的索引，并将这些值附加到一个列表中。在那之后，我将要读取大量索引，并将该行数据的内容写入另一个.csv文件。塔达！可能效率极低。在

这里怎么了？有没有更有效的方法来解决这个问题？是我的代码有缺陷，还是我对我的笔记本电脑很残忍？在

更新：

我发现，根据我正在处理的大量数据，这需要9-10个小时。我在4.5中正确地吐出了一半。我现在可以解决一夜之间的紧张，但下次可能会考虑使用数据库或其他语言。如果我能提前知道我要做什么，哈哈

在为我的固态硬盘调整睡眠设置后，只花了3个小时。在

Answer 1

如果CSV文件可以放入RAM（例如小于2GB），那么您只需读取全部内容并对其执行sort：

data = list(csv.reader(fn))
data.sort(key=lambda line:line[0])
csv.writer(outfn).writerows(data)

如果你不痛打的话，那不会花那么长时间的。请注意，.sort是一个稳定排序，因此当键相等时，它将保留文件的时间顺序。在

如果它不适合RAM，您可能需要做一些聪明的事情。例如，您可以存储每行的文件偏移量，以及该行的必要信息（时间戳和航班号），然后对这些信息进行排序，并使用行偏移量信息编写输出文件。在

Answer 2

您可以尝试UNIX sort实用程序：

sort -n -s -t, -k1,1 infile.csv > outfile.csv

-t设置分隔符，-k设置排序键。-s稳定排序，而{}使用数值比较。在