Python中文
首页
教程
问答
标签
搜索
登录
注册
如何确保tf.control_依赖项()当我训练具有多个网络的GANlike图时?
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我想我可以把这个问题概括为,“当我有两个唯一的网络时,如何使用批处理规范化?”在</p> <p>我训练的基本上是一个GAN,鉴别器和生成器都有批量范数层。这有点不同,因为这两个网络都有各自的损耗函数,完全独立于另一个,这与普通的GAN框架不同。第二个网络基本上只是用来测量生成器在任务中的“错误程度”,但它们都应该完全独立地更新。在</p> <p>我的网络都是在单独的gpu上定义的,因为它们相当大。在</p> <p>我将网络放置在每个GPU上,并在以下代码中分配依赖项:</p> <pre><code>with tf.device("/gpu:0"): pred = uNet2D(X, BETA[j], KERNEL_SIZE, is_training) cost = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(labels=tf.reshape(Y,[-1]),logits=tf.reshape(pred,[-1]))) update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) with tf.control_dependencies(update_ops): optimizer = tf.train.AdamOptimizer(learning_rate=LR[i]).minimize(W*cost) with tf.device("/gpu:1"): attention = attentionNetwork(X_ATTN, BETA[j], KERNEL_SIZE, is_training) cost_d = tf.reduce_sum(tf.nn.sigmoid_cross_entropy_with_logits(labels=Y_ATTN,logits=attention)) update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS) with tf.control_dependencies(update_ops): optimizer_d = tf.train.AdamOptimizer(learning_rate=0.2*LR[i]).minimize(cost_d) </code></pre> <p>不过,我有点担心,因为我的张量板图图像表明,uNet(我的生成器)的输出是一个输入,梯度用于更新attentionenetwork(我的鉴别器)。在</p> <p>有人能帮我决定怎样构造这些积木吗?我还担心的是,优化attentionNetwork需要包含uNet2D()和cost on中定义的占位符gpu:0。在</p> <p>谢谢!我的张量板图表附在下面。在</p> <p><a href="https://i.stack.imgur.com/8GgVd.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/8GgVd.png" alt="enter image description here"/></a></p> <p>编辑:当我在没有Batch Norm的情况下运行这个程序,因此没有control\u dependencies()时,我得到了一个看起来像这样的Tensorboard,我很确定这是我想要的。在</p> <p><a href="https://i.stack.imgur.com/YfinL.png" rel="nofollow noreferrer"><img src="https://i.stack.imgur.com/YfinL.png" alt="enter image description here"/></a></p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>像所有人一样切换到Pythorch,<a href="https://discuss.pytorch.org/" rel="nofollow noreferrer">https://discuss.pytorch.org/</a>他们甚至有开发者回答问题的论坛。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
“matplotlib”ImportError:DLL加载失败:%1不是有效的Win32应用程序
5 回答
“matplotlib”中对字体设置的奇怪响应
4 回答
“matplotlib”如何将绘图调整为图形大小?
1 回答
“Matplotlib不支持生成器作为输入。当我尝试使用scatter()打印列表时”
6 回答
“matplotlib中的点悬停时是否可能显示标签?”
2 回答
“max_features”如何限制sklearn集成模型中的特征数量?
5 回答
“max_poolig2d_3/MaxPool”的1减去2导致维度大小为负
4 回答
“maxiter”参数对中的方法“SLSQP”有效吗scipy.optimize.minimize?
6 回答
“maxRunningTime”选项的格式(谷歌人工智能平台)
3 回答
“MDMenuItem”对象在MDDropdownMenu上没有属性“callback”
5 回答
“Mean”不适用于Pandas数据帧,从Pickle读取16 x 200000+个观察值
8 回答
“MediaDefiningClass”对象不是iterable Djangoimportexp
4 回答
“Medicine”对象没有属性“add”错误
2 回答
“MergeSummary”Op的“inputs”具有与预期类型字符串不匹配的类型[bool,bool,bool,bool,bool,bool,bool]
2 回答
“message”:“所需的请求部分“file\”不存在”
8 回答
“message”是Django还是Python中的保留字?
8 回答
“method”和“method”的实例之间不支持“<”,Python,Djang
5 回答
“method”对象不可订阅。不知道怎么了
8 回答
“Method”对象不是iterab
2 回答
“method”对象不是iterable dataframe python
1 回答