Python中文
首页
教程
问答
标签
搜索
登录
注册
TFGPT2LMHeadModel未知位置
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我一直在玩弄tensorflow(CPU)和一些语言模型,到目前为止,一切都很好。<br/> 但是在看到我的旧CPU在所有的模型训练中慢慢地被淘汰之后,我决定是时候让我的RTX2080发挥一些作用了。我一直在遵循来自<a href="https://github.com/jeffheaton/t81_558_deep_learning/blob/master/install/tensorflow-install-jul-2020.ipynb" rel="nofollow noreferrer">washinton university</a>的指南:。我很快就让tensorflow gpu运行起来,在一些轻型预测之类的东西上运行它</p> <p>但当我开始运行GPT2语言模型时,我遇到了一些小问题。我首先标记数据:</p> <pre><code>from tokenizers.models import BPE from tokenizers import Tokenizer from tokenizers.decoders import ByteLevel as ByteLevelDecoder from tokenizers.normalizers import NFKC, Sequence from tokenizers.pre_tokenizers import ByteLevel from tokenizers.trainers import BpeTrainer class BPE_token(object): def __init__(self): self.tokenizer = Tokenizer(BPE()) self.tokenizer.normalizer = Sequence([ NFKC() ]) self.tokenizer.pre_tokenizer = ByteLevel() self.tokenizer.decoder = ByteLevelDecoder() def bpe_train(self, paths): trainer = BpeTrainer(vocab_size=50000, show_progress=True, inital_alphabet=ByteLevel.alphabet(), special_tokens=[ "<s>", "<pad>", "</s>", "<unk>", "<mask>" ]) self.tokenizer.train(trainer, paths) def save_tokenizer(self, location, prefix=None): if not os.path.exists(location): os.makedirs(location) self.tokenizer.model.save(location, prefix) # ////////// TOKENIZE DATA //////////// from pathlib import Pa th import os# the folder 'text' contains all the files paths = [str(x) for x in Path("./da_corpus/").glob("**/*.txt")] tokenizer = BPE_token()# train the tokenizer model tokenizer.bpe_train(paths)# saving the tokenized data in our specified folder save_path = 'tokenized_data' tokenizer.save_tokenizer(save_path) </code></pre> <p>上面的代码可以完美地工作并标记数据——就像tensorflow(CPU)一样。在将数据标记化后,我开始训练我的模型-但在它开始之前,我得到以下结果:</p> <pre><code>from transformers import GPT2Config, TFGPT2LMHeadModel, GPT2Tokenizer # loading tokenizer from the saved model path ImportError: cannot import name 'TFGPT2LMHeadModel' from 'transformers' (unknown location) </code></pre> <p>Transformers软件包似乎已正确安装在站点软件包库中,我似乎能够使用其他变压器-但不能<strong>TFGPT2LMHeadModel</strong> 我读过谷歌上的所有内容,也尝试过tensorflow gpu、transformers、Tokenizer和许多其他软件包的不同版本,可惜没有任何帮助</p> <p><strong>套餐:</strong></p> <ul> <li>Python,3.7.1</li> <li>Tensorflow 2.1.0</li> <li>Tensorflow gpu 2.1.0</li> <li>Tensorflow基础2.1.0</li> <li>张量流估计器2.1.0</li> <li>变压器4.2.2</li> <li>标记化器0.9.4</li> <li>cudnn 7.6.5</li> <li>cudatoolkit 10.1.243</li> </ul>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我刚刚使用了下面的命令,它按预期工作</p> <pre><code># installing Transformers and TensorFlow 2.0 in one line !pip install transformers[tf-gpu] </code></pre>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
尽管Python中的所有内容都是引用,为什么Python导师在没有指针的列表中绘制字符串和整数?
8 回答
尽管python中的表达式为false,但循环仍在运行
6 回答
尽管python代码正确,但从nifi ExecuteScript处理器获取语法错误
1 回答
尽管Python在Neovim中工作得很好,但插件不能识别Neovim中的Python主机
7 回答
尽管python字典包含了大量的条目,但它并没有增长
9 回答
尽管python说模块存在,为什么我会得到这个消息?
9 回答
尽管setuptools和控制盘是最新的,但无法识别singleversionexternallymanaged
5 回答
尽管stdout和stderr重定向,但未捕获错误消息
9 回答
尽管Tensorboard的事件太大,但Tensorboard的步骤太少了
5 回答
尽管tkinter上的变量已更改,但显示未更改
1 回答
尽管try/except使用Python进行单元测试时出现断言错误
6 回答
尽管URL是sam,但仍会抛出“达到最大重定向”
3 回答
尽管url有效,Pandas仍读取url的\u csv错误
8 回答
尽管while中存在时间延迟,但LINUX线程的CPU利用率为100%(1)
6 回答
尽管x0在范围内,Scipy优化仍会引发ValueError
9 回答
尽管xpath正确,但使用selenium单击链接仍不起作用
4 回答
尽管下载了ffmpeg并设置了路径变量python,但没有后端错误
9 回答
尽管下载了i,但找不到型号“fr”
7 回答
尽管下载了plotnine包,但未获取名为“plotnine”的模块时出错
6 回答
尽管为所有行指定了权重,网格(0)仍不起作用
10 回答