急执行的张量流多项式分布

Question

我来自这个tutorial，它使用多项式分布在急切的执行中，根据来自我们的RNN的预测张量，得到下一个文本生成字符的最终预测。你知道吗

# using a multinomial distribution to predict the character returned by the model
temperature = 0.5
predictions = predictions / temperature
predicted_id = tf.multinomial(predictions, num_samples=1)[-1,0].numpy()

我的问题是：

1. 温度（这里是0.5）不只是缩放所有的预测吗，为什么它会影响多项式选择呢？你知道吗

   [0.2、0.4、0.3、0.1]/温度=[0.4、0.8、0.6、0.2]

   那么多项式不是在规范化概率吗？因此当缩放时，我们只是增加每个字符的概率，限制为1？

2. [-1，0].numpy（）做什么？我完全迷路了。

如有任何提示，我们将不胜感激。你知道吗

Answer 1

1. [i，：]表示所有类的非标准化对数概率。你知道吗

因此，当温度小于1时，概率越小。当温度大于1时，则取较大值：

math.exp(0.4)/math.exp(0.8) = 0.670
math.exp(0.3)/ math.exp(0.6) = 0.7408
math.exp(0.2)/ math.exp(0.4) = 0.818
math.exp(0.1)/ math.exp(0.2) = 0.9048

1. [-1, 0].numpy()只得到多项式张量的值

例如：

tf.multinomial(predictions, num_samples=1)
tf.Tensor([[3]], shape=(1, 1), dtype=int64)
to 3