事实上,我不太了解令牌。。
当我读到googleresearch/bert模型时,我看到了这些词。在
# In the demo, we are doing a simple classification task on the entire
# segment.
#
# If you want to use the token-level output, use model.get_sequence_output() # instead.
有人能举一个关于令牌级和段级分类的例子吗?在
Tags:
片段级分类意味着每个片段都有一个标签,例如,一个分类器将电影评论分类为好的或坏的。整个输入序列只有一个输出标签。
标记级分类是指每个标记都将被赋予一个标签,例如,词性标记器会将每个单词分类为一个特定的词性。每个标记(序列中的元素)在输出中将有一个对应的标签。
如果您不确定标记是什么,可以从将其视为句子中的每个单词开始,但是为了更准确地说,请看https://nlp.stanford.edu/IR-book/html/htmledition/tokenization-1.html。根据文本标记化和预处理的方式,标记可以是单词、标点符号、特殊标记、子词级符号等
相关问题 更多 >
编程相关推荐