尝试使用keras标记txt字符串数组时出现参数错误

2024-06-28 19:31:16 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试将字符串数组标记化,并将它们转换为正式序列。但是,当我试图运行以下代码时,我遇到了一个错误。在

tokenizer = Tokenizer(num_words=20000)
tokenizer.fit_on_texts(txt)
sequences = tokenizer.texts_to_sequences(txt)

以下是我的错误消息:

^{pr2}$

有人能告诉我为什么吗?我该怎么修?另外,我的txt数组的长度约为5000,10个字符串中的第一个如下所示:

[有人说我今年要接种流感疫苗,我会鼓励身边的老人或儿童也接种疫苗',“RT@EWJJr:禽流感和猪流感的区别:对于禽流感,你会得到推特。对于猪流感,你会被传染。/太糟糕了,这很好“,“伊利诺伊州在4周内获得猪流感疫苗”,“RT@EWJJr:禽流感和猪流感的区别:对于禽流感,你会得到推特。对于猪流感,你会被传染。/太糟糕了,很好”,“你开玩笑吧。。我身边的人都病了,我开玩笑说生病了,还嘲笑流感疫苗。。。我现在很痛。。“废话”,“她身体不好,我们都被注射流感疫苗困住了!!!WTF?','RT@WatchBirds Bird News:Missoula waterower tested for Bird flu','我知道这不是“猪流感”!不想在泥里大便在里面打滚。不是“禽流感”—挡风玻璃或雕像上没有便便“,我认识的一个我知道我害怕得猪流感的家伙”


Tags: 字符串标记txt错误数组tokenizerrt区别