NLP | LimeTextExplainer for bigrams

2024-06-30 15:20:40 发布

您现在位置:Python中文网/ 问答频道 /正文

在NLP任务中,我想了解分类器的“规则”。为此,我建立了一个LimeTExtExplainer

c= make_pipeline(cv,naive_bayes)
explainer = LimeTextExplainer(class_names=class_names, random_state=42, bow=False)
exp = explainer.explain_instance(X_test[i], c.predict_proba, num_features=20,) 
fig = exp.as_pyplot_figure()

上面的代码创建了一个很好的1Gram列表,这正是我想要的。 :enter image description here

在下一步中,我想做同样的事情,但是要用bigrams。我将功能提取器更改为仅计算Bigram:

cv = CountVectorizer(strip_accents='ascii', analyzer='word',                                    
                 token_pattern=u'(?ui)\\b\\w*[a-z]+\\w*\\b',                                
                 lowercase=True, stop_words='english',                                      
                 ngram_range=(2,2), max_features=None)

问题:

  1. 我对Limeexplainer使用与上面相同的代码。但是现在 这个图和以前一样只显示了1grams,但我只计算了bigrams
  2. 作为一个附带问题,图形的水平轴显示 该词占分类的绝对概率 可能性例如,文本X类概率为0.67, 在0.67中,确认账户约为0.009,语言账户约为0.007, 对吧?

提前谢谢


Tags: 代码makenlppipelinenames分类器规则账户
1条回答
网友
1楼 · 发布于 2024-06-30 15:20:40

至少我得到了第二个问题的答案:

这些都是概率,但不是我想的那样

例如,X类的预测概率为0.808。如果现在从基础语料库中删除单词“recognit”,那么预测类的总预测概率将减少0.008&燃气轮机;概率等级x等于0.800

有关石灰的详细信息,我强烈建议: “我为什么要相信你?”Riberio et.al(2016)

相关问题 更多 >