我正在实现一种迭代解码机制。我的型号是变压器。现在我有一个(大)问题,就是如何提高效率
具体来说,让我们假设我们正在构建一个文本生成器(类似于GPT-2)。让我们假设在开始时,输入序列是空的。我需要做的第一件事是将输入输入输入到我的神经网络中,即进行后期填充:所有元素的预定义长度数字K都是零,结果是: 输入=[0 0。。。。。0]
我用我的神经网络根据这个输入产生一个单词(word1说)。然后我在新文本上再次划水:
输入=[id\u of\u word1 0。。。。。0]
有了这个,我用我的神经网络来产生另一个单词
单词的划动和生成一直持续到我得到一个特殊的单词(序列的结尾),或者直到生成文本的某个长度。虽然这很容易,但我发现这是非常无效的,因为我必须一次又一次地解码
有没有办法使迭代更有效
目前没有回答
相关问题 更多 >
编程相关推荐