值错误：无法创建内容大于2GB的张量协议

Question

我使用这段代码来训练新闻文章数据集。在

https://github.com/borislavmavrin/stance-detection/blob/master/model_matchingLSTM_wdev.py

当我加载GoogleNews word2vec文件时，它会给出错误信息。在

ValueError: Cannot create a tensor proto whose content is larger than 2GB.

stacktrace从https://github.com/borislavmavrin/stance-detection/blob/master/model_matchingLSTM_wdev.py#L614行开始

然后转到https://github.com/borislavmavrin/stance-detection/blob/master/model_matchingLSTM_wdev.py#L154

如有任何帮助，我们将不胜感激。我现在不想改变这段代码的结构，我只是现在更关注结果，因为这只是我想在这个数据集上做的一个原型。如果结果足够好，我可以编写自己的模型或改进现有的模型。在

Answer 1

把计算放在CPU上也无济于事。这里的问题是tf.constant的实现涉及使用协议缓冲区序列化值。后者的大小限制最多为2GB。在

一种解决方法是用占位符替换常量并将值输入sess.run()。在

您可以尝试的另一个方法是将常量拆分为几个常量（拆分numpy数组并为每个部分创建一个tf.constant），然后使用tf.concat连接它们。这可以在本地完成，以后不需要输入占位符。在