在测试我的模型时，我如何处理keras中的InvalidArgumeInterror？

Question

我正在对stanford140 dataset进行情绪分析

我设计了一个具有此体系结构的keras模型：

    embedding_layer = layers.Embedding(12995, 300, weights=[embedding_vectors], 
    input_length= 50, trainable=False)
    model = keras.models.Sequential()
    model.add(embedding_layer)
    model.add(layers.Conv1D(filters=128, kernel_size=3, activation='relu'))
    model.add(layers.MaxPooling1D(pool_size=2,strides=2))
    model.add(layers.LSTM(100))
    model.add(layers.Dense(64))
    model.add(layers.Dense(1, activation='sigmoid'))

下面的函数显示了我如何创建嵌入向量（嵌入向量用于前一段代码的嵌入层）

def _create_embedding_vectors(self):
    self.vocab_size = len(self.tokenizer.word_index) + 1
    embedding_vectors = np.zeros((self.vocab_size,300))
    for word,i in self.tokenizer.word_index.items():
      try :
        embedding_vectors[i] = self.w2v[word]
      except KeyError :
        embedding_vectors[i] = np.zeros(300)

    return embedding_vectors 

self.vocab_size是12995，并且self.tokenizer已从tensorflow.keras.preprocessing.text导入。 self.w2v是谷歌新闻预训练向量

我训练了我的模特，在训练过程中一切都很好。因此，我对模型进行了酸洗，以供进一步使用

但在另一个文件中，我加载模型并向其传递一些句子以便对它们进行分类，分类器类会引发invalidargumeinterror。下面的代码显示了分类器类

class Classifier :
  

  def __init__(self,path_to_model,path_to_tokenizer) :
    self.model = self.load_model(path_to_model)
    self.tokenizer = self.load_tokenizer(path_to_tokenizer)

  

  def text_preprocessor (self,tweet) :
    # remove user mentions 
    tweet =re.sub('\s*@[a-zA-Z0-9]*\s*',' ',tweet) 
    # remove signle character
    tweet =re.sub('\s+[a-zA-Z0-9]\s+',' ',tweet) 
    # remove hashtag sign 
    tweet = re.sub('#','',tweet) 
    # remove underline 
    tweet = re.sub('_',' ',tweet) 
    # remove dash
    tweet = re.sub('-',' ',tweet) 
    # translate &
    tweet = re.sub('&', ' and ' , tweet)
    # lower
    tweet = tweet.lower()
    # remove punctuation 
    tweet = ' '.join([token for token in nltk.word_tokenize(tweet) if token not in punctuation])
    return tweet


  def load_model(self,path_to_model) :
    return keras.models.load_model(path_to_model)

  def load_tokenizer(self,path_to_tokenizer) :
    with open(path_to_tokenizer, 'rb') as file_reader:
      tokenizer = pickle.load(file_reader)
    return tokenizer 

  def transform_tweets(self,tweets) :
    encoded_docs = self.tokenizer.texts_to_sequences(tweets)
    max_length = 50
    x_test = pad_sequences(encoded_docs, maxlen=max_length, padding='post')
    return x_test

  def predict(self,tweets) :
    tweets = list(map(self.text_preprocessor,tweets)) 
    x_test = self.transform_tweets(tweets) 
    y_pred = self.model.predict(x_test)
    return np.round(y_pred)

当我将一些文本传递给模型以预测他们的情绪时，我面临着这个错误

(0) Invalid argument: indices[3,16] = 12399 is not in [0, 12210)
 [[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]]
(1) Invalid argument: indices[3,16] = 12399 is not in [0, 12210)
 [[node sequential_111/embedding_111/embedding_lookup (defined at <ipython-input-2-71e9b0ec6210>:47) ]] [[sequential_111/embedding_111/embedding_lookup/_6]]

有人能帮我避免这个错误吗

Answer 1

我在大约3周的时间里纠结这个错误。最后，通过在设计模型的代码中省略input_length= 50，我避免了这个错误：） 下面的代码显示了我是如何创建模型的

---

    embedding_layer = layers.Embedding(12995, 300, weights=[embedding_vectors], trainable=False)
    model = keras.models.Sequential()
    model.add(embedding_layer)
    model.add(layers.Conv1D(filters=128, kernel_size=3, activation='relu'))
    model.add(layers.MaxPooling1D(pool_size=2,strides=2))
    model.add(layers.LSTM(100))
    model.add(layers.Dense(64))
    model.add(layers.Dense(1, activation='sigmoid'))

希望对厌倦了这个错误的其他人有用