我试图通过在Knaristneighbors上测试来学习gridsearchCV的工作原理。 当我指定n_neighbories=9时,我的分类器的得分为0.9122807017543859
但当我在列表中使用gridsearchCV并给出n_neights=9时,我得到的分数是0.8947368421052632
原因可能是什么? 任何努力都是值得赞赏的。 这是我的密码
from sklearn import datasets
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split as splitter
import pickle
from sklearn.neighbors import KNeighborsClassifier
from sklearn.linear_model import LogisticRegression
from sklearn.model_selection import GridSearchCV
# Data pre-processing <-----------------------
data = datasets.load_breast_cancer()
p=data
add=data.target.reshape(569,1)
columns = np.append(data.feature_names,
data.target_names[0],
axis=None)
data = np.append(data.data,
add,
axis=1)
df = pd.DataFrame(data=data,columns=columns)
X_train,X_test,y_train,y_test = splitter(p.data,
p.target,
test_size=0.3,
random_state=12)
gauss = KNeighborsClassifier(n_neighbors=9)
param_grid={'n_neighbors':[1,2,3,4,5,6,7,8,9,11,12,13,10]}
gausCV = GridSearchCV(KNeighborsClassifier(),param_grid,verbose=False)
gauss.fit(X_train,y_train)
gausCV.fit(X_train,y_train)
print(gauss.score(X_test,y_test))
print(gausCV.score(X_test,y_test))
这就是我得到的
0.9122807017543859
0.8947368421052632
问题不在于邻居的数量,而在于“交叉验证”。
GridSearchCV
进程不仅尝试param_grid
中的所有值,而且还执行一些数据操作:数据的“折叠”。这是对数据进行多次重采样,以帮助使最终分类器尽可能对新数据具有鲁棒性。考虑到你在gauss
和gausCV
模型之间得到的分数有多接近,几乎可以肯定的是,所绘制的数据正在影响结果,但不会严重影响结果这是一个很好的例子,说明了为什么仅仅接受一个“得分”最高的模型并不总是最好的方法:我会更相信一个通过交叉验证后得分良好的模型,而不是一个没有通过交叉验证的模型(所有其他方面都相同)
Here is a good description运行交叉验证时发生的情况
相关问题 更多 >
编程相关推荐