如何在空间中使用预应变变压器模型？

Question

我在想，我怎么能将spacy的预训练transformer模型en_trf_bertbaseuncased_lg用于未来的NLP任务（NER、POS等）。文档说明，该模块只能用于以下管道预处理模块（https://spacy.io/models/en#en_trf_bertbaseuncased_lg）：

• 量刑人
• trf\ U拼字机
• 东京电力公司

有谁能向我解释一下，这些组件在做什么，它们可以用于哪些任务？或者有没有人知道一个好的消息来源？你知道吗

>>> import spacy
>>> nlp = spacy.load("en_trf_bertbaseuncased_lg")
>>> nlp.pipe_names
[sentencizer, trf_wordpiecer, trf_tok2vec]

Answer 1

斯帕西的Language Processing Pipelines会引导你找到你想要的信息。你知道吗

Sentencizer： 一个简单的管道组件，允许不需要依赖解析的自定义语句边界检测逻辑。默认情况下，句子切分由DependencyParser执行，因此Sentencizer允许您实现一个更简单的、基于规则的策略，而不需要加载统计模型。组件也可以通过字符串名"sentencizer"获得。初始化之后，通常使用nlp.add_pipe将其添加到处理管道中。你知道吗