如何计算pyspark中的距离矩阵?

2024-09-27 07:30:05 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个有100000条记录的数据集。我需要找到这个数据集的欧几里德距离矩阵。它应该创建100000*100000矩阵。在python中我们有squareform(pdist(x))。由于我不能在rdd上执行相同的函数,如何在python的spark平台上执行它?你知道吗


Tags: 数据函数距离记录矩阵平台sparkrdd

热门问题