快速转换大（2.1gb+）二进制文件（纬度/经度/高度到ECEF）

Question

现在，我正在尝试将经纬度高度格式的大量二进制点文件转换为基于文本的ECEF笛卡尔格式（x，y，z）。现在的问题是这个过程非常缓慢。在

我有超过100G的数据要处理，可能会有更多的数据进来。我想让这段代码尽可能快。在

现在我的代码如下所示：

import mmap
import sys
import struct
import time

pointSize = 41

def getArguments():
    if len(sys.argv) != 2:
        print """Not enough arguments.
        example:
            python tllargbin_reader.py input_filename.tllargbin output_filename
        """
        return None
    else:
        return sys.argv

print getArguments()

def read_tllargbin(filename, outputCallback):
    f = open(filename, "r+")
    map = mmap.mmap(f.fileno(),0)
    t = time.clock()
    if (map.size() % pointSize) != 0:
        print "File size not aligned."
        #return
    for i in xrange(0,map.size(),pointSize):
        data_list = struct.unpack('=4d9B',map[i:i+pointSize])
        writeStr = formatString(data_list)
        if i % (41*1000) == 0:
            print "%d/%d points processed" % (i,map.size())
    print "Time elapsed: %f" % (time.clock() - t)
    map.close()


def generate_write_xyz(filename):
    f = open(filename, 'w', 128*1024)
    def write_xyz(writeStr):
        f.write(writeStr)
    return write_xyz

def formatString(data_list):
    return "%f %f %f" % (data_list[1], data_list[2],data_list[3])
args = getArguments()
if args != None:
    read_tllargbin(args[1],generate_write_xyz("out.xyz"))

convertXYZ（）基本上是这里的转换公式： http://en.wikipedia.org/wiki/Geodetic_system

我在想，如果用一个线程以~4MB的块读取内容，将它们放入有界缓冲区，使用不同的线程转换为字符串格式，并让最后一个线程将字符串写回另一个硬盘上的文件，这样会不会更快一些。不过，我可能是在冒险。。。在

我现在使用python进行测试，但是如果我能更快地处理这些文件，我不会反对切换。在

有什么建议都很好。谢谢

编辑：

我再次使用cProfile分析了代码，这次将字符串格式和io分开。似乎我真的被字符串格式杀死了。。。这是分析器报告

^{pr2}$

有没有更快的方法来格式化字符串？在

Answer 1

鉴于formatString是最慢的操作，请尝试以下操作：

def formatString(data_list):
    return " ".join((str(data_list[1]), str(data_list[2]), str(data_list[3])))