我想复制一个递归神经网络,每个时间层后面都有一个丢失层,这些丢失层共享它们的掩码。这种结构在A Theoretically Grounded Application of Dropout in Recurrent Neural Networks中有描述。在
就我所理解的代码而言,MXNet中实现的递归网络模型没有在时间层之间应用任何丢失层;函数的dropout
(R API,Python API)等函数的dropout
参数实际上定义了输入的丢失。因此,我需要从头开始重新实现这些函数。在
但是,Dropout层似乎不接受将mask定义为参数的变量。在
是否可以在计算图的不同位置创建多个dropout层,同时共享它们的掩码?在
根据讨论here,不可能指定掩码,并且使用随机种子对dropout的随机数生成器没有影响。在
相关问题 更多 >
编程相关推荐