python中嵌套循环及其内部函数的替代方法

Question

我想升级我的代码，因为算法需要17小时来计算。我尝试了几种方法，但都不管用。为了节省时间，你能给我建议一下代码的替代方案吗

%%次

# test algorithm1 - fuzzy
matched_pair = []
for x in dataset1['full_name_eng']:
    for y in dataset2['name']:
        if (fuzz.token_sort_ratio(x,y) > 85):
            matched_pair.append((x,y))
            print((x,y))

我正在比较两个数据集列中的名称，并找到匹配的对

Answer 1

一种可能性是引入并行处理。目前这是单线程代码，因此可能没有使用所有可用的CPU资源。如果您有4个或8个核，那么将计算扩展到所有核上应该会有显著的改进

我在Python中对此没有太多经验。以下是一种方法的介绍： Parallel Processing in python

在本例中，您可能希望编写一个函数，将单个值与y中的每个值进行比较。然后使用并行处理框架将该函数映射到x