如何根据一个特定列的值将一个大文件分成小的块来进行多处理、多线程处理？

Question

我为生物过程https://codereview.stackexchange.com/questions/186396/solve-the-phase-state-between-two-haplotype-blocks-using-markov-transition-proba编写了一个python程序。在

如果你仔细研究这个程序，你会发现这个程序一次从两个连续的行（或键，VAL）计算数据时要花很多时间。我并没有把整个代码放在这里，但为了简单起见，我创建了一个模拟文件和模拟程序（如下所示），其在最简单的级别上的行为类似。在这个模拟程序中，我在计算len(vals)列，并将其写回输出文件。在

由于在原始程序（上面的链接）中执行for (k1, v1) and (k2, v2) ....时，计算受到CPU/GPU的限制，我希望通过-1）以尽可能快的方式读取内存中的整个数据2）通过唯一的chr字段3）将数据分成块进行计算4）将其写回文件中。那么，我该怎么做呢？

在给定的模拟文件中，计算太简单了，无法绑定到GPU/CPU，但我只想知道如果需要的话，我可以怎么做。在

注意：有太多人问我要实现什么-我正在尝试多处理/线程给定的问题。如果我把我最初的整个大程序放在这里，没人会去看它。所以，让我们来练习这个小文件和小python程序。在

以下是我的代码和数据：

my_data = '''chr\tpos\tidx\tvals
2\t23\t4\tabcd
2\t25\t7\tatg
2\t29\t8\tct
2\t35\t1\txylfz
3\t37\t2\tmnost
3\t39\t3\tpqr
3\t41\t6\trtuv
3\t45\t5\tlfghef
3\t39\t3\tpqr
3\t41\t6\trtu
3\t45\t5\tlfggg
4\t25\t3\tpqrp
4\t32\t6\trtu
4\t38\t5\tlfgh
4\t51\t3\tpqr
4\t57\t6\trtus
'''


def manipulate_lines(vals):
    vals_len = len(vals[3])
    return write_to_file(vals[0:3], vals_len)

def write_to_file(a, b):
    print(a,b)
    to_file = open('write_multiprocessData.txt', 'a')
    to_file.write('\t'.join(['\t'.join(a), str(b), '\n']))
    to_file.close()

def main():
    to_file = open('write_multiprocessData.txt', 'w')
    to_file.write('\t'.join(['chr', 'pos', 'idx', 'vals', '\n']))
    to_file.close()

    data = my_data.rstrip('\n').split('\n')


    for lines in data:
        if lines.startswith('chr'):
            continue
        else:
            lines = lines.split('\t')
        manipulate_lines(lines)


if __name__ == '__main__':
    main()

Answer 1

我只使用过几次线程，下面没有测试过这段代码，但是快速浏览一下，for循环确实是唯一可以从线程中获益的地方。在

不过，我还是让别人来决定吧。在

import threading

my_data = '''chr\tpos\tidx\tvals
2\t23\t4\tabcd
2\t25\t7\tatg
2\t29\t8\tct
2\t35\t1\txylfz
3\t37\t2\tmnost
3\t39\t3\tpqr
3\t41\t6\trtuv
3\t45\t5\tlfghef
3\t39\t3\tpqr
3\t41\t6\trtu
3\t45\t5\tlfggg
4\t25\t3\tpqrp
4\t32\t6\trtu
4\t38\t5\tlfgh
4\t51\t3\tpqr
4\t57\t6\trtus
'''


def manipulate_lines(vals):
    vals_len = len(vals[3])
    return write_to_file(vals[0:3], vals_len)

def write_to_file(a, b):
    print(a,b)
    to_file = open('write_multiprocessData.txt', 'a')
    to_file.write('\t'.join(['\t'.join(a), str(b), '\n']))
    to_file.close()

def main():
    to_file = open('write_multiprocessData.txt', 'w')
    to_file.write('\t'.join(['chr', 'pos', 'idx', 'vals', '\n']))
    to_file.close()

    data = my_data.rstrip('\n').split('\n')

    for lines in data:
        if not lines.startswith('chr'):
            lines = lines.split('\t')
        threading.Thread(target = manipulate_lines, args = (lines)).start()


if __name__ == '__main__':
    main()