为什么多处理会降低嵌套for循环的速度？

Question

我有很多非常大的矩阵AFeatures，我正在与其他一些非常大的矩阵BFeatures进行比较，它们的形状都是(878, 2, 4, 15, 17, 512)，使用欧几里德距离。我试图将这个过程并行化，以加速比较。 我在Conda环境中使用Python3，我的原始代码在100%的速度下平均使用两个CPU核：

    per_slice_comparisons = np.zeros(shape=(878, 878, 2, 4))
    
    for i in range(878):
        for j in range(878):
            for k in range(2):
                for l in range(4):
                    per_slice_comparisons[i, j, k, l] = np.linalg.norm(AFeatures[i, k, l, :] - BFeatures[j, k, l, :])

我尝试了两种加速代码的方法

1. 使用多重处理

   def fill_array(i):
       comparisons = np.zeros(shape=(878, 2, 4))
   
       for j in range(878):
           for k in range(2):
               for l in range(4):
                   comparisons[j, k, l] = np.linalg.norm(AFeatures[i, k, l, :] -BFeatures[j, k, l, :])
            comparisons[j, k, l] = 0
   
            return comparisons
   
   pool = Pool(processes=6)
   list_start_vals = range(878)
   per_slice_comparisons = np.array(pool.map(fill_array, list_start_vals))
   pool.close()
   

这种方法将运行时间增加了5%左右，尽管所有8个CPU内核现在都以100%的速度使用。我已经尝试了许多不同的过程，越多，速度就越慢

1. 这是一种稍微不同的方法，我使用numexpr库来执行更快的linal.norm操作。对于单个操作，此方法将运行时间减少10倍

    os.environ['NUMEXPR_MAX_THREADS'] = '8'
    os.environ['NUMEXPR_NUM_THREADS'] = '4'
    import numexpr as ne
   
    def linalg_norm(a):
        sq_norm = ne.evaluate('sum(a**2)')
        return ne.evaluate('sqrt(sq_norm)')
   
    per_slice_comparisons = np.zeros(shape=(878, 878, 2, 4))
        for i in range(878):
            for j in range(878):
                for k in range(2):
                    for l in range(4):
                        per_slice_comparisons[i, j, k, l] = linalg_norm(AFeatures[i, k, l, :] - BFeatures[j, k, l, :])
   

但是，对于嵌套for循环，这种方法将总执行时间增加了3倍。我不明白为什么简单地将这个操作放在嵌套的for循环中会显著降低性能？如果有人对如何解决这个问题有任何想法，我将非常感激

Answer 1

我只是简单介绍一下这个问题。我发现，在计算不同的高维向量之间的欧几里德距离时，我确实在Anaconda中使用numpy获得了最好的结果。在此基础上使用多处理并没有取得任何显著的改进

但是，我后来通过一个代码示例（https://github.com/QVPR/Patch-NetVLAD）找到了最近的Faiss库。Faiss（https://anaconda.org/pytorch/faiss-gpu）是一个用于聚类和计算不同向量之间距离的库，可用于计算余弦和欧氏距离。简单地说，使用这个库可以实现的速度是巨大的，远远超过了比较大量高维矩阵的速度的100倍。对于我的研究来说，它完全改变了游戏规则，我强烈推荐它，尤其是在比较大型神经网络描述器时