Python字典通过线程处理百万条记录

Question

有一个Python字典，其中有数百万条记录的增量顺序需要由线程处理。在

data = {}
data[number] = name

数字是按递增顺序排列的，从100万到100万

threards被称为tested via

第一个选项会适得其反，因为它只处理max\u tries定义的某些线程。在

^{pr2}$

第二个一次执行一百万条记录。在

for item in data:
    name = data[item]

    current = MainThread(name)
    check_results.append(current)
    current.start()

你将如何解决它。在

Answer 1

我会用^{}。下面的代码我还没有测试过，所以请把它们当作伪代码来处理。在

import concurrent.futures

def my_processing_function():
    pass

with concurrent.futures.ThreadPoolExecutor(max_workers=5) as executor:

    future_objects = []
    for item in data:
        name = data[item]
        future_objects.append(executor.submit(my_processing_function, name, 60))

    for future in concurrent.futures.as_completed(future_objects):
        try:
            res = future.result()
        except Exception as exc:
            print('exception: {}'.format(exc))
        else:
            print("Result: {}".format(res))