Python中文
首页
教程
问答
标签
搜索
登录
注册
张量流:向LSTM添加正则化
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>在<a href="https://stackoverflow.com/questions/37869744/tensorflow-lstm-regularization">Tensorflow LSTM Regularization</a>之后,我试图在LSTM单元的参数训练时,在代价函数中加入正则化项。在</p> <p>抛开一些常数,我有:</p> <pre><code>def RegularizationCost(trainable_variables): cost = 0 for v in trainable_variables: cost += r(tf.reduce_sum(tf.pow(r(v.name),2))) return cost ... regularization_cost = tf.placeholder(tf.float32, shape = ()) cost = tf.reduce_sum(tf.pow(pred - y, 2)) + regularization_cost optimizer = tf.train.AdamOptimizer(learning_rate = 0.01).minimize(cost) ... tv = tf.trainable_variables() s = tf.Session() r = s.run ... while (...): ... reg_cost = RegularizationCost(tv) r(optimizer, feed_dict = {x: x_b, y: y_b, regularization_cost: reg_cost}) </code></pre> <p>我遇到的问题是,添加正则化项极大地减慢了学习过程,实际上,当与<code>pred - y</code>相关的项几乎停滞时,正则化项{<cd1>}随着每次迭代明显增加,即{<cd1>}似乎没有被考虑在内。在</p> <p>我怀疑我用完全错误的方式添加了这个术语。我不知道如何在成本函数本身中添加这个术语,所以我使用了标量的解决方法tf.占位符并“人工”计算了正规化成本。如何正确处理?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>因为每次迭代都会减慢你的代码。这不是你用TF编写代码的方式。首先,创建整个图,包括正则化项,然后在while循环中只执行每个转铁器XXX“操作创建<strong>新节点</strong>。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
如何添加虚拟方法
8 回答
如何添加表示整数的擦边字符串?
7 回答
如何添加要在Bokeh中使用的新font.ttf文件?
9 回答
如何添加要显示的矩阵XY轴编号和XY轴
8 回答
如何添加计数?
3 回答
如何添加计数器函数?
3 回答
如何添加计数器列来计算数据帧中另一列中的特定值?
6 回答
如何添加计数器来跟踪while循环中的月份和年份?
3 回答
如何添加计数并删除countplot的顶部和右侧脊椎?
10 回答
如何添加计时器wx.应用程序更新窗口对象的主循环?
7 回答
如何添加评论到帖子?PostDetailVew,Django 2.1.5
3 回答
如何添加评论拉梅尔亚姆
6 回答
如何添加诸如矩阵Python/Pandas之类的数据帧?
7 回答
如何添加谷歌地点自动完成到Flask?
1 回答
如何添加超时、python discord bot
3 回答
如何添加超过1dp的检查
7 回答
如何添加距离方法
9 回答
如何添加跟随游戏的敌人精灵
10 回答
如何添加路径以便python可以找到程序?
6 回答
如何添加身份验证/安全性以使用happybase访问HBase?
8 回答