网格搜索中的H2OResponseError获取网格排序

Question

当我跑步时：

data_h = h2o.H2OFrame(data)

### Edit: added asfactor() below to change integer target array.
data_h["BPA"] = data_h["BPA"].asfactor()

train, valid = data_h.split_frame(ratios=[.7], seed = 1234)
features = ["bq_packaging_consumepkg", "bq_packaging_microwave_v3", "bq_packaging_plasticbottle_v2", 
              "bq_packaging_hotdrink_v3", "bq_packaging_microwsaran_v3","bq_food_cannedfoods_v2"]
target = "BPA"

# Hyperparameter tuning
params = {"ntrees": [50, 100, 200, 300, 400, 500, 600],
          "max_depth": [10, 30, 50, 70, 90, 110],
          "min_rows": [1,5,10,15,20,25]}

criteria = {"strategy": "RandomDiscrete", 
            "stopping_rounds": 10,
            "stopping_tolerance": 0.00001,
            "stopping_metric": "misclassification"}

# Grid search and Training
grid_search = H2OGridSearch(model= rf_h, hyper_params= params, 
search_criteria = criteria)
grid_search.train(x = features, y = target, training_frame=train, 
validation_frame = valid)

# Sorting the grid
sorted_grid = grid_search.get_grid(sort_by='auc', decreasing = True)

调用grid_search.get_grid(sort_by = 'auc', decreasing = True)会产生以下错误：

^{pr2}$

看看documentation for the grid search中的示例，我相信我正确地使用了该方法。在

编辑：添加了将目标数组从整数数组更改为因子数组。在

Answer 1

这个特别的问题是如何获得多类分类问题的AUC（即目标有两个以上的因子级别-请参阅原始问题注释中的张贴图像）。H2O不计算单个类别的auc，因此如果您尝试使用其二进制分类度量auc()，则会返回错误。在

要查看多类分类问题的可用度量，请参阅documentation

选项包括，例如：logloss()和mean_per_class_error()

Answer 2

Error: Invalid argument for sort_by specified. Must be one of: [mae, residual_deviance, r2, mean_residual_deviance, rmsle, rmse, mse]

问题是"auc"不是解决问题的有效指标。看起来你训练的是回归模型而不是二元分类模型，这就是为什么不允许AUC。错误消息中的度量列表是回归问题允许的度量列表。在

如果您的响应列是0和1，并且您没有将其转换为因子，那么它将训练回归模型，而不是二进制分类模型。如果是这种情况，而您希望使用二进制分类模型，那么您只需首先将响应转换为因子：

train[target] = train[target].asfactor()