我如何创造和适应词汇.bpe文件（GPT和GPT2 OpenAI模型）与我自己的语料库文本？

Question

这个问题是为那些熟悉GPT或GPT2OpenAI模型的人准备的。尤其是编码任务（字节对编码）。这是我的问题：

我想知道我怎样才能创造我自己的词汇.bpe文件。在

我有一个西班牙语语料库文本，我想使用适合我自己的bpe编码器。我成功地创造了编码器.json使用python-bpe库，但我不知道如何获得词汇.bpe文件。 我已经检查了gpt-2/src/encoder.py中的代码，但是，我没有找到任何提示。有什么帮助或想法吗？在

提前谢谢你。在

Answer 1

签出here，你可以很容易地创建相同的词汇.bpe使用以下命令：

python learn_bpe -o ./vocab.bpe -i dataset.txt  symbols 50000