斯帕西：如何加载谷歌新闻word2vec矢量？

Question

我尝试了几种加载google news word2vec向量（https://code.google.com/archive/p/word2vec/）的方法：

en_nlp = spacy.load('en',vector=False)
en_nlp.vocab.load_vectors_from_bin_loc('GoogleNews-vectors-negative300.bin')

以上给出：

MemoryError: Error assigning 18446744072820359357 bytes

我也尝试过使用.gz压缩向量；或者使用gensim将它们加载并保存为新格式：

from gensim.models.word2vec import Word2Vec
model = Word2Vec.load_word2vec_format('GoogleNews-vectors-negative300.bin', binary=True)
model.save_word2vec_format('googlenews2.txt')

然后，该文件在每行包含单词及其单词向量。 我试着给他们装上：

en_nlp.vocab.load_vectors('googlenews2.txt')

但它返回“0”。

正确的方法是什么？

更新：

我可以将自己创建的文件加载到spacy中。 我使用一个test.txt文件，每行上都有“string 0.0 0.0….”。然后用.bzip2将这个txt压缩到test.txt.bz2。 然后创建一个与spacy兼容的二进制文件：

spacy.vocab.write_binary_vectors('test.txt.bz2', 'test.bin')

我可以把它装进太空：

nlp.vocab.load_vectors_from_bin_loc('test.bin')

这能行！ 但是，当我对googlenews2.txt执行相同的过程时，会得到以下错误：

lib/python3.6/site-packages/spacy/cfile.pyx in spacy.cfile.CFile.read_into (spacy/cfile.cpp:1279)()

OSError: 

Answer 1

我知道这个问题已经得到了回答，但我要提出一个更简单的解决办法。此解决方案将把google新闻向量加载到一个空白的spacy nlp对象中。

import gensim
import spacy

# Path to google news vectors
google_news_path = "path\to\google\news\\GoogleNews-vectors-negative300.bin.gz"

# Load google news vecs in gensim
model = gensim.models.KeyedVectors.load_word2vec_format(gn_path, binary=True)

# Init blank english spacy nlp object
nlp = spacy.blank('en')

# Loop through range of all indexes, get words associated with each index.
# The words in the keys list will correspond to the order of the google embed matrix
keys = []
for idx in range(3000000):
    keys.append(model.index2word[idx])

# Set the vectors for our nlp object to the google news vectors
nlp.vocab.vectors = spacy.vocab.Vectors(data=model.syn0, keys=keys)

>>> nlp.vocab.vectors.shape
(3000000, 300)