如何从Tensorflow checkpoint（ckpt）文件预测BERTbase句子中的屏蔽词？

Question

我有BERT基本模型检查点，我从零开始训练Tensorflow。如何使用这些检查点来预测给定句子中的蒙蔽词？在

比如，假设句子是， “[CLS]abc pqr[MASK]xyz[SEP] 我想在[掩模]位置预测单词。在

我该怎么做？ 我在网上搜索了很多，但是每个人都在使用BERT来完成特定于任务的分类任务。 不使用伯特来预测蒙蔽词。在

请帮我解决这个预测问题。在

我使用create_pretraining_data.py创建数据，并使用官方BERT repo（https://github.com/google-research/bert）中的run_pretraining.py从头开始训练模型

我已经在官方的bert repo中搜索过问题。但没有找到解决办法。在

还研究了回购协议中的代码。他们使用的是估计器，而不是通过检查点权重进行训练。在

没有找到任何方法来使用BERT基模型（从头开始训练）的Tensorflow检查点来预测单词掩码标记（即[MASK]）。在

Answer 1

你真的需要从TF检查站开始吗？如果您可以使用pytorch-transformers库中使用的一个经过预训练的模型，那么我编写了一个库来完成这个任务：FitBERT。在

如果必须从TF检查点开始，有一些脚本可以将TF检查点转换为pytorch转换器可以使用的东西，link，在转换之后，您应该能够使用FitBERT，或者您可以在代码中看到我们在做什么。在