在PySpark中,如何将直线拟合到数据的每一行,并将渐变添加到数据帧?

2024-06-16 20:55:54 发布

您现在位置:Python中文网/ 问答频道 /正文

我有一个数据帧,看起来像:

uniqueKey | Month1 | Month2 | ... | MonthN
a         | 1      | 2      | ... | 3
b         | 3      | 4      | ... | 5

每一行都是唯一的。我想为每一行拟合一条直线,并将渐变值附加到数据帧的末尾。你知道吗

我知道如何SparkML使OLS适合整个数据帧,但是这个数据帧很大,我想以分布式的方式来做。你知道吗


Tags: 数据方式分布式直线末尾sparkmlolsmonth2