为什么Keras LSTM在CPU上的速度是GPU的三倍？

Question

我使用this notebook from Kaggle来运行LSTM神经网络。在

我开始训练神经网络，我发现它太慢了。它几乎比CPU训练慢三倍。在

• CPU perfomance:每历元8分钟
• GPU perfomance:每历元26分钟。在

在这之后，我决定在this question on Stackoverflow中找到答案，并应用了CuDNNLSTM（它只在GPU上运行）而不是LSTM。在

因此，GPU性能变得每历元仅1min，模型精度下降3%。在

问题：

1）有人知道为什么在经典的LSTM层中GPU的工作速度比CPU慢吗？我不明白为什么会这样。在

2）为什么当我使用CuDNNLSTM而不是{}时，训练变得更快，模型的准确性降低了？在

备注：

My CPU:英特尔酷睿i7-7700处理器（8M缓存，最高4.20GHz）

My GPU:英伟达GeForce GTX 1050 Ti（4 GB）

Answer 1

在Keras中，用CuDNN快速实现LSTM。在

model.add(CuDNNLSTM(units, input_shape=(len(X_train), len(X_train[0])), return_sequences=True))

它只能在带有TensorFlow后端的GPU上运行。在