Python中文网 - 问答频道, 解决您学习工作中的Python难题和Bug
Python常见问题
我花了几天时间试图制作一个基本HTML模板，并学习RNN网络。 我尝试了不同的方法，甚至对以下数据进行了过度拟合：
<!DOCTYPE html>
<html>
<head>
<title>Page Title</title>
</head>
<body>
<h1>This is a Heading</h1>
<p>This is a paragraph.</p>
</body>
</html>
使用Adam优化器和crossentroploss获得100%的训练和验证准确率。你知道吗
问题是，当我尝试从网络中取样时，结果完全是随机的，我不知道问题是什么：
..<a<a<a<a<aa<ttp11111b11111b11111111b11b1bbbb<btttn111
我的采样函数如下：
def sample_sentence():
words = list()
count = 0
modelOne.eval()
with torch.no_grad():
# Setup initial input state, and input word (we use "the").
previousWord = torch.LongTensor(1, 1).fill_(trainData.vocabulary['letter2id']['[START]'])
hidden = Variable(torch.zeros(6, 1, 100).to(device))
while True:
# Predict the next word based on the previous hidden state and previous word.
inputWord = torch.autograd.Variable(previousWord.to(device))
predictions, newHidden = modelOne(inputWord, hidden)
hidden = newHidden
pred = torch.nn.functional.softmax(predictions.squeeze()).data.cpu().numpy().astype('float64')
pred = pred/np.sum(pred)
nextWordId = np.random.multinomial(1, pred, 1).argmax()
if nextWordId == 0:
continue
words.append(trainData.vocabulary['id2letter'][nextWordId])
# Setup the inputs for the next round.
previousWord.fill_(nextWordId)
# Keep adding words until the [END] token is generated.
if nextWordId == trainData.vocabulary['letter2id']['[END]']:
break
if count>20000:
break
count += 1
words.insert(0, '[START]')
return words
我的网络架构如下：
class ModelOne(Model) :
def __init__(self,
vocabulary_size,
hidden_size,
num_layers,
rnn_dropout,
embedding_size,
dropout,
num_directions):
super(Model, self).__init__()
self.vocabulary_size = vocabulary_size
self.hidden_size = hidden_size
self.num_layers = num_layers
self.rnn_dropout = rnn_dropout
self.dropout = dropout
self.num_directions = num_directions
self.embedding_size = embedding_size
self.embeddings = nn.Embedding(self.vocabulary_size, self.embedding_size)
self.rnn = nn.GRU(self.embedding_size,
self.hidden_size,
num_layers=self.num_layers,
bidirectional=True if self.num_directions==2 else False,
dropout=self.rnn_dropout,
batch_first=True)
self.linear = nn.Linear(self.hidden_size*self.num_directions, self.vocabulary_size)
def forward(self, paddedSeqs, hidden):
batchSequenceLength = paddedSeqs.size(1)
batchSize = paddedSeqs.size(0)
lengths = paddedSeqs.ne(0).sum(dim=1)
embeddingVectors = self.embeddings(paddedSeqs)
x = torch.nn.utils.rnn.pack_padded_sequence(embeddingVectors, lengths, batch_first=True)
self.rnn.flatten_parameters()
x,hid = self.rnn(x, hidden)
output, _ = torch.nn.utils.rnn.pad_packed_sequence(x, batch_first=True, padding_value=0, total_length=batchSequenceLength)
predictions = self.linear(output)
return predictions.view(batchSize, self.vocabulary_size, batchSequenceLength), hid
def init_hidden(self, paddedSeqs):
hidden = Variable(torch.zeros(self.num_layers*self.num_directions,
1,
self.hidden_size).to(device))
return hidden
modelOne =ModelOne(vocabulary_size=vocabularySize,
hidden_size=100,
embedding_size=50,
num_layers=3,
rnn_dropout=0.0,
dropout=0,
num_directions=2).to(device)
如果你有什么需要改变的想法，请告诉我。 我将所有代码添加到github存储库：https://github.com/OverclockRo/HTMLGeneration/blob/SamplingTestTemplate/Untitled.ipynb
Tags： theselfsizelayersnntorchembeddingnum
热门问题
- 我想从用户inpu创建一个类的实例
- 我想从用户导入值，为此
- 我想从用户那里得到一个整数输入，然后让for循环遍历该数字，然后调用一个函数多次
- 我想从用户那里收到一个列表，并在其中执行一些步骤，然后在步骤完成后将其打印回来，但它没有按照我想要的方式工作
- 我想从用户那里获取输入，并将值传递给（average=dict[x]/6），然后在那里获取resu
- 我想从第一个列表中展示第一个词，然后从第二个列表中展示十个词，以此类推- Python
- 我想从第一个空lin开始解析文本文件
- 我想从简历、简历中提取特定部分
- 我想从给定字典（python）的字符串中删除\u00a9、\u201d和类似的字符。
- 我想从给定的网站Lin下载许多文件扩展名相同的Wget或Python文件
- 我想从网上搜集一些关于抵押贷款的数据
- 我想从网站上删除电子邮件地址
- 我想从网站上读取数据该网站包含可下载的文件，然后我想用python脚本把它发送给oracle如何？
- 我想从网站中提取数据，然后将其显示在我的网页上
- 我想从网页上提取统计数据。
- 我想从网页上解析首都城市，并在用户输入国家时在终端上打印它们
- 我想从色彩图中删除前n个颜色，而不丢失原始颜色数
- 我想从课堂上打印字典里的键
- 我想从费用表中获取学生上次支付的费用，其中学生id=id
- 我想从较低的顺序对多重列表进行排序，但我无法在一行中生成结果
热门文章
- Python覆盖写入文件
- 怎样创建一个 Python 列表？
- Python3 List append()方法使用
- 派森语言
- Python List pop()方法
- Python Django Web典型模块开发实战
- Python input() 函数
- Python3 列表(list) clear()方法
- Python游戏编程入门
- 如何创建一个空的set?
- python如何定义(创建)一个字符串
- Python标准库 [The Python Standard Library by Ex
- Python网络数据爬取及分析从入门到精通（分析篇）
- Python3 for 循环语句
- Python List insert() 方法
- Python 字典(Dictionary) update()方法
- Python编程无师自通 专业程序员的养成
- Python3 List count()方法
- Python 网络爬虫实战 [Web Crawler With Python]
- Python Cookbook（第2版）中文版
首先，为了使GRU（RNN）高效，您可能需要更多的数据来训练。你知道吗
第二，似乎您在嵌入方面有问题。看起来，映射词汇表['id2letter']不起作用，否则您将获得 标签序列，如
<head><title><title><title>，而不是p111。你知道吗编辑
我已经训练了this character-level GRU network1700个时代的this page的html源代码。下面是一个2000个字符的例子，摘录了它生成的内容：
我希望，这有帮助。你知道吗
相关问题 更多 >
编程相关推荐