如何修复get_updates函数中的“形状必须为等秩”？

Question

我根据bstriner的要点（https://gist.github.com/bstriner/e1e011652b297d13b3ac3f99fd11b2bc#gistcomment-2310228），在Keras中为EnhanceRL算法设置了一个自定义损失和一个自定义拟合方法，但我得到了上述错误

有什么提示吗

我正试图将马克西姆·拉潘的Pyrl代码调整为Keras。然而，y_pred和y_true custom loss Keras要求并没有让我达到这个完美的PyTorch/Keras端口

Class NN():
...
    def custom_loss(self, y_pred, y_true):
        log_prob = self.log_softmax(y_pred)
        log_prob_qvals = self.batch_qvals *     log_prob[range(len(self.batch_states)), y_true]
        loss = K.mean(log_prob_qvals * -1, axis=0)
        return loss

    def custom_fit(self, x, ytrue):
        print('FFP-BP = 1 gradient update')
        updates = self.optim.get_updates(
        loss=self.custom_loss, params=K.variable(self.net.trainable_weights))
        return K.function(input=[x, ytrue], outputs=[self.custom_loss], updates=updates)
...

当我用Pytorch的代码点击F5时，我的预期结果与（几乎）相同：

    logits_v = net(states_v)
    log_prob_v = F.log_softmax(logits_v, dim=1)
    log_prob_actions_v = batch_qvals_v * \
            log_prob_v[range(len(batch_states)), batch_actions_t]
    loss_v = -log_prob_actions_v.mean()
    loss_v.backward()
    optimizer.step()

编辑1：通过检查，在Python调试时，我可以看到损失值的计算是正确的。所以，我怀疑这是和那些女人有关