使用混淆矩阵作为scikit学习中交叉验证的评分指标

Question

我在scikit learn中创建了一个管道

pipeline = Pipeline([
    ('bow', CountVectorizer()),  
    ('classifier', BernoulliNB()), 
])

使用交叉验证计算精度

scores = cross_val_score(pipeline,  # steps to convert raw messages      into models
                     train_set,  # training data
                     label_train,  # training labels
                     cv=5,  # split data randomly into 10 parts: 9 for training, 1 for scoring
                     scoring='accuracy',  # which scoring metric?
                     n_jobs=-1,  # -1 = use all cores = faster
                     )

如何报告混淆矩阵而不是“准确性”？

Answer 1

不过，您可以定义一个记分器，它使用混淆矩阵中的特定值。见here [link]。只是引用代码：

def tp(y_true, y_pred): return confusion_matrix(y_true, y_pred)[0, 0]
def tn(y_true, y_pred): return confusion_matrix(y_true, y_pred)[1, 1]
def fp(y_true, y_pred): return confusion_matrix(y_true, y_pred)[1, 0]
def fn(y_true, y_pred): return confusion_matrix(y_true, y_pred)[0, 1]
scoring = {'tp' : make_scorer(tp), 'tn' : make_scorer(tn),
           'fp' : make_scorer(fp), 'fn' : make_scorer(fn)}
cv_results = cross_validate(svm.fit(X, y), X, y, scoring=scoring)

这将对这四个记分器中的每一个执行交叉验证，并返回记分字典cv_results，例如，使用键test_tp、test_tn等，其中包含来自每个交叉验证拆分的混淆矩阵值。

由此你可以重建一个平均混淆矩阵，但是Xema的cross_val_predict似乎更适合这个。

注意，这实际上不适用于cross_val_score；您需要cross_validate（在scikit learn v0.19中引入）。

旁注：您可以使用这些记分器中的一个来通过网格搜索进行超参数优化。

*编辑：在[1，1]返回真负片，而不是[0，0]