多任务学习的bert
bert-multitask-learning的Python项目详细描述
用于多任务学习的伯特
安装
pip install bert-multitask-learning
它是什么
这个项目使用BERT来完成多任务学习并支持多个GPU。
为什么我需要这个
在原始的bert代码中，无论是多任务学习还是多gpu训练都是不可能的。另外，这个项目的最初目的是ner，它在最初的bert代码中没有工作脚本。
总之，与原始的bert repo相比，此repo具有以下特点：
- 多任务学习（重新编写大部分代码的主要原因）。
- 多个GPU培训
- 支持序列标签（例如，ner）和编码器-解码器seq2seq（带变压器-解码器）。
支持哪种类型的问题？
- 蒙面lm和下一句预测列车前（预列车）
- 分类（CLS）
- 序列标签（seq_tag）
- seq2seq标签（seq2seq_标签）
- seq2seq文本生成（seq2seq_文本）
- 多标签分类（多CLS）
如何运行预定义的问题
有两种类型的链接操作可用于链接问题。
&。如果两个问题具有相同的输入，则可以使用&链接它们。由&链接的问题将同时接受培训。|。如果两个问题没有相同的输入，则需要使用|链接它们。由|链接的问题将在每个实例中进行采样以进行训练。
例如，cws|NER|weibo_ner&weibo_cws，在每个回合中抽取一个问题，例如weibo_ner&weibo_cws，然后weibo_ner和weibo_cws将一起为这个回合训练。因此，在一个特定的批处理中，某些任务可能不会被抽样，并且在该批处理中它们的损失可能为0。
有关培训、评估和导出模型的更多详细信息，请参见notebooks中的示例。
伯特
pip install bert-multitask-learning
这是什么
pip install bert-multitask-learning
这是什么
pip install bert-multitask-learning
项目进展情况。
项目名称
贝特贝特。
“伯特”项目，前向：
- 多
- 多gpu训练
- 编码器解码器
政府
- 蒙面lm下一句预测预测（pretrain）
- 承办单位（CLS）
- 序列标注（序列标签）
- 序列到序列标签标注（seq2seq_tag）
- （seq2seq文本）
- 多标签分生（多个时钟）
预测
[谚]
- 中石化
- 中文
- 中石化
[谚]
- 中石化
- 中文
- 中石化
心胸狭窄
&。第二，第三部分。中华人民共和国|。交通局。中华人民共和国
（二）年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报、年报等。中新网那一、分批，损失0.
评估
欢迎加入QQ群-->： 979659372
