我尝试使用python和stata构建多项式logit模型。我的数据如下:
ses_type prog_type read write math prog ses
0 low Diploma 39.2 40.2 46.2 0 0
1 middle general 39.2 38.2 46.2 1 1
2 high Diploma 44.5 44.5 49.5 0 2
3 low Diploma 43.0 43.0 48.0 0 0
4 middle Diploma 44.5 36.5 45.5 0 1
5 high general 47.3 41.3 47.3 1 2
我试图用ses读写和数学来预测程序。其中ses代表社会经济地位,是一个名义变量,因此我使用以下命令在stata中创建了我的模型:
^{pr2}$Stata输出如下:
Iteration 0: log likelihood = -204.09667
Iteration 1: log likelihood = -171.90258
Iteration 2: log likelihood = -170.13513
Iteration 3: log likelihood = -170.11071
Iteration 4: log likelihood = -170.1107
Multinomial logistic regression Number of obs = 200
LR chi2(10) = 67.97
Prob > chi2 = 0.0000
Log likelihood = -170.1107 Pseudo R2 = 0.1665
------------------------------------------------------------------------------
prog | Coef. Std. Err. z P>|z| [95% Conf. Interval]
-------------+----------------------------------------------------------------
0 |
ses |
1 | .6197969 .5059335 1.23 0.221 -.3718146 1.611408
2 | -.5131952 .6280601 -0.82 0.414 -1.74417 .7177799
|
read | -.0405302 .0289314 -1.40 0.161 -.0972346 .0161742
write | -.0459711 .0270153 -1.70 0.089 -.09892 .0069779
math | -.0990497 .0331576 -2.99 0.003 -.1640373 -.0340621
_cons | 9.544131 1.738404 5.49 0.000 6.136921 12.95134
-------------+----------------------------------------------------------------
1 |
ses |
1 | -.3350861 .4607246 -0.73 0.467 -1.23809 .5679176
2 | -.8687013 .5363968 -1.62 0.105 -1.92002 .182617
|
read | -.0226249 .0264534 -0.86 0.392 -.0744726 .0292228
write | -.011618 .0266782 -0.44 0.663 -.0639063 .0406703
math | -.0591301 .0299996 -1.97 0.049 -.1179283 -.000332
_cons | 5.041193 1.524174 3.31 0.001 2.053866 8.028519
-------------+----------------------------------------------------------------
2 | (base outcome)
------------------------------------------------------------------------------
我尝试在python中使用scikit学习模块复制相同的结果。代码如下:
data = pd.read_csv("C://Users/Furqan/Desktop/random_data.csv")
train_x = np.array(data[['read', 'write', 'math','ses ']])
train_y = np.array(data['prog'])
mul_lr = linear_model.LogisticRegression(multi_class='multinomial',
solver='newton-cg').fit(train_x, train_y)
print(mul_lr.intercept_)
print(mul_lr.coef_)
输出值(截距和系数)如下:
[ 4.76438772 0.19347405 -4.95786177]
[[-0.01735513 -0.02731273 -0.04463257 0.01721334]
[-0.00319366 0.00783135 -0.00689664 -0.24480926]
[ 0.02054879 0.01948137 0.05152921 0.22759592]]
结果发现这些值是不同的。在
我的第一个问题是为什么结果往往不同?在
我的第二个问题是,对于名义预测变量,我们如何指导pythonses是一个指示符变量?在
编辑:
Link到数据文件
有几个问题使
Stata
和sklearn
的结果不同:我们需要改变这三个条件,以实现类似的产出。在
1。生成虚拟变量
Stata
用于线性部分的公式是反过来,
^{pr2}$Sklearn
对ses
的范畴性质一无所知,并试图使用要启用分类预测,需要对数据进行预处理。这是将分类变量包括到
sklearn
逻辑回归中的唯一可能方法。我发现pd.get_dummies()
是最方便的方法。在下面的代码为
ses
创建伪变量,然后删除"low"
级别,这显然对应于示例中的ses=0
:It输出
您可以看到Python成功地将},但未能生成预期的系数。在
sess
编码为'ses_high '
和{顺便说一下,我已经更改了输出中
coef_
列的顺序,使其看起来像Stata中的。在2。重新排列结果
这是因为Stata将第三类结果(
prog=='honors '
)视为基本结果,并从其余参数中减去所有参数。在Python中,可以通过运行这给了你
现在您可以看到参数现在接近
Stata
给出的值:你能看到图案吗?在
sklearn
中,斜率系数比Stata小(接近于零)。这不是意外!在3。处理正规化
发生这种情况是因为
sklearn
有意地将斜率系数缩小到0,方法是将系数的二次惩罚加到它最大化的似然函数上。这使得估计有偏差,但更稳定,即使在严重的多重共线性的情况下。在贝叶斯术语中,这种正则化对应于所有系数的零均值高斯先验。您可以了解更多关于正则化in the wiki。在在
sklearn
中,这个二次惩罚由正的C
参数控制:它越小,得到的正则化越多。你可以把它看作是每个斜率系数的先验方差。默认值是C=1
,但您可以将其增大,如C=1000000
,这意味着几乎没有正则化。在这种情况下,输出与Stata
的输出几乎相同:这给了你
结果仍然有一点不同(比如在小数点后5位),但是如果正则化程度更低,差异填充会进一步缩小。在
相关问题 更多 >
编程相关推荐