使用PySp在数据帧上应用sklearn训练模型我用Python训练了一个随机森林算法,并希望用PySpark将其应用到一个大数据集上。在 我首先加载了经过训练的sklearn RF模型(使用joblib),将包含特性的数据加载到Spark数据帧中 ...2024-10-03 已阅读: n次
阿帕奇梁:帕多和ML mod我训练了一个scikit学习模型(~70MB),我想用它来对apachebeam进行预测。在 但是,我想知道使用parDo是否会为每一行加载模型,从而使用大量的资源 class PredictClas ...2024-10-03 已阅读: n次