我尝试在python3中使用keras执行序列分类。我在试着对单词序列进行分类。在我的数据中,我使用word_2u vec将单词转换为形状为300的数组。我的培训数据如下
X-->word vectors列表(所有单词向量列表的长度为50个单词向量)
Y-->;一个热编码的正确类的列表(例如:[[0,0,1],[1,0,0],[1,0,0]…])
当我试图初始化模型并使数据适合它时,我不断地得到错误。我不熟悉使用keras进行深度学习。我的模型的层应该是什么。另外一个特别的错误是我的输入形状不正确。在这种情况下,我的输入形状是什么?在
代码:
training_data = []
with open(INTENT_RECOGNITION_TRAINING, 'r') as json_file:
json_obj = json.load(json_file)
for data in json_obj['data']:
for query in data['queries']:
words = [START_TOKEN] + word_tokenize(query[0]) + [END_TOKEN]
if len(words) > JText.MAX_QUERY_LENGTH:
JText.MAX_QUERY_LENGTH = len(words)
training_data.append((words, data['intent']))
training_data = [(JText._pad_sequence(ws, JText.MAX_QUERY_LENGTH), intent) for (ws, intent) in training_data]
for i in range(len(training_data)):
if training_data[i][1] not in JText.INTENTS:
JText.INTENTS.append(training_data[i][1])
query_vector = []
for w in training_data[i][0]:
if w in JText.WORD2VEC.vocab:
query_vector.append(JText.WORD2VEC[w])
else:
query_vector.append(np.zeros(300))
training_data[i] = (query_vector, training_data[i][1])
random.shuffle(training_data)
X_train = [tup[0] for tup in training_data]
y_train = [tup[1] for tup in training_data]
y_labelencoder = LabelEncoder()
y_train = y_labelencoder.fit_transform(y_train).reshape(-1, 1)
y_onehotencoder = OneHotEncoder(categorical_features=[0])
y_train = y_onehotencoder.fit_transform(y_train).toarray()
recognizer = Sequential([
LSTM(100, input_shape=(JText.MAX_QUERY_LENGTH, 300)),
Dense(len(JText.INTENTS), activation='sigmoid')
])
recognizer.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
recognizer.fit(X_train, y_train, nb_epoch=100, batch_size=10)
获取此错误:
^{pr2}$
没有keras模型代码或错误消息,很难提供准确的答案。 我会根据现有的信息,通过陈述一个通用的解决方案来帮助你。在
这个blog是序列分类的一个很好的例子,应该为初学者提供一些直观的想法。在
希望这有帮助
更新 我正在尝试做类似的事情,但遇到了同样的问题。 从你的代码看,你好像在传递一个形状的n数组(seqˉlen,300)。Keras需要一个3D numpy数组,而不是numpy数组的列表。在
这就是我如何重新配置我的训练数据
上面的代码没有经过优化,但它最好地传达了所需的更改,以便让LSTM层接受您的输入
希望这有帮助
相关问题 更多 >
编程相关推荐