针对特定域的微调Bert(无监督)

2024-09-27 22:19:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我想对与特定领域相关的文本(在我的例子中是与工程相关的)进行微调。培训应该是无人监督的,因为我没有任何标签或任何东西。这可能吗


Tags: 文本标签工程领域例子微调无人
1条回答
网友
1楼 · 发布于 2024-09-27 22:19:20

实际上,您希望继续对来自特定领域的文本进行预培训。在这种情况下,您要做的是继续将模型训练为蒙面语言模型,但要基于特定于域的数据

您可以使用Huggingface的变形金刚中的^{}脚本

相关问题 更多 >

    热门问题