使用PySp在数据帧上应用sklearn训练模型

Question

我用Python训练了一个随机森林算法，并希望用PySpark将其应用到一个大数据集上。在

我首先加载了经过训练的sklearn RF模型（使用joblib），将包含特性的数据加载到Spark数据帧中，然后添加一列预测，并使用如下用户定义的函数：

def predictClass(features):
    return rf.predict(features)
udfFunction = udf(predictClass, StringType())
new_dataframe = dataframe.withColumn('prediction', 
udfFunction('features'))

虽然跑起来要花很多时间，有没有更有效的方法来做同样的事情？（不使用Spark ML）

Answer 1

现在您还可以使用spark2.3中引入的pandas_udf，以实现高处理速度和分布式计算。它基于用于内存计算的apachearrow的python实现。在