Keras&TensorFlow：得到f（x）wrt x的二阶导数，其中dim（x）=（1，n）

Question

我在Keras和TensorFlow在引擎盖下工作。我有一个深层神经模型（预测自动编码器）。我正在做一些类似的事情：https://arxiv.org/abs/1612.00796——我试图理解给定层中变量对输出的影响。在

为此，我需要求出损耗（L）相对于特定层输出的二阶导数（Hessian）：

对角线输入就足够了。L是标量，s是1乘以n

我首先尝试的是：

dLds = tf.gradients(L, s)  # works fine to get first order derivatives
d2Lds2 = tf.gradients(dLds, s)  # throws an error
TypeError: Second-order gradient for while loops not supported.

我也试过：

^{pr2}$

我不能改变s的形状，因为它是神经网络的一部分（LSTM的状态）。第一个维度（批处理大小）已设置为1，我想我无法删除它。在

我不能重塑s，因为它破坏了渐变的流动，例如：

tf.gradients(L, tf.reduce_sum(s, axis=0))

给出：

[None]

你知道我在这种情况下能做些什么吗？在

Answer 1

目前不支持此功能。见this report。在