如果我不知道类名，如何加载pyspark ML lib transformer模型？

Question

我创建了一个pyspark transformer（拟合模型），比如逻辑回归模型，并保存了它。 现在假设一个新的开发人员来了，不知怎么的，我做得很糟糕，没有将模型类名存储在之前的某个地方。新开发人员使用决策树模型并尝试加载该模型。它抛出错误并告诉我类似的事情

IllegalArgumentException: u'requirement failed: Error loading metadata: Expected class name org.apache.spark.ml.classification.LogisticRegressionModel but found class name org.apache.spark.ml.DecisionTreeModel'

在没有任何先前知识（除了它是一个转换器）的情况下，开发人员如何在pyspark中加载转换器模型，然后从元数据中读取类的类型，然后使用该类加载模型

Answer 1

有一个解决办法。基本上，将模型添加到管道或管道模型并保存管道。这样，加载时就不再需要模型类名了