如何使用经过训练的文本分类模型
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我实现了一个支持向量机模型，可以将给定的文本分为两类。使用data.csv数据集对模型进行训练和测试。
现在，我想将此模型用于实时数据。为此，我使用了pickle python库。
首先我保存了模型</p>
<pre><code>joblib.dump(clf, "model.pkl")
</code></pre>
<p>然后我加载了那个模型</p>
<pre><code>classifer = joblib.load("model.pkl")
</code></pre>
<p>然后我使用下面的输入作为文本进行分类</p>
<pre><code>new_observation = "this news should be in one category"
classifer.predict([new_observation])
</code></pre>
<p>但是在运行这个之后，它会给出一个错误</p>
<blockquote>
<p>ValueError: could not convert string to float: 'this news should be in one category'</p>
</blockquote>
<p>我参考了下面的链接，了解如何保存和加载经过训练的模型。
[<a href="https://scikit-learn.org/stable/modules/model_persistence.html][1]" rel="nofollow noreferrer">https://scikit-learn.org/stable/modules/model_persistence.html][1]</a></p>
<p><strong>编辑</strong></p>
<p>下面是我用来创建svm模型的代码</p>
<pre><code>data = pd.read_csv('data1.csv',encoding='cp1252')
def pre_process(text):
text = text.translate(str.maketrans('', '', string.punctuation))
text = [word for word in text.split() if word.lower() not in
stopwords.words('english')]
words = ""
for i in text:
stemmer = SnowballStemmer("english")
words += (stemmer.stem(i))+" "
return words
textFeatures = data['textForCategorized'].copy()
textFeatures = textFeatures.apply(pre_process)
vectorizer = TfidfVectorizer("english")
features = vectorizer.fit_transform(textFeatures)
features_train, features_test, labels_train, labels_test = train_test_split(features, data['class'], test_size=0.3, random_state=111)
svc = SVC(kernel='sigmoid', gamma=1.0)
clf = svc.fit(features_train, labels_train)
prediction = svc.predict(features_test)
</code></pre>
<p>在实现了模型之后，下面是我尝试为模型提供输入的方法</p>
<pre><code>joblib.dump(clf, "model.pkl")
classifer = joblib.load("model.pkl")
new_observation = "This news should be in one category"
classifer.predict(new_observation)
</code></pre>
<p><strong>编辑</strong></p>
<pre><code>joblib.dump(clf, "model.pkl")
classifer = joblib.load("model.pkl")
textFeature = "Dengue soaring in ......"
textFeature =pre_process(textFeature)
classifer.predict(textFeature.encode())
</code></pre>
<p>这是我用来加载模型并向模型中输入文本的代码。在这样做之后，我添加了代码以获得预测值。但是我得到了一个错误</p>
<blockquote>
<p>ValueError: could not convert string to float: b'dengu soar '</p>
</blockquote>
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 如何在PyObj中使用respondsToSelector和performSelector 3 回答
- 如何在pyobj中停止线程 1 回答
- 如何在pyobj中生成线程 3 回答
- 如何在pyodbc中为记录集指定游标类型？ 6 回答
- 如何在pyodbc中从用户处获取表名，同时避免SQL注入？ 4 回答
- 如何在pyodbc中使用executemany运行多个SELECT查询 6 回答
- 如何在pyodbc中同时在n个游标上并行运行n个进程？ 5 回答
- 如何在pyodbc中控制连接池的大小？ 1 回答
- 如何在pyodbc中自动调用fetchall（）而不进行异常处理？ 3 回答
- 如何在pyODBC查询中参数化日期戳？ 1 回答
- 如何在pyodbc输出转换器函数中解压sqlserver DATETIME？ 7 回答
- 如何在pyodb中安装所有驱动程序 5 回答
- 如何在pyodb嵌套循环中调用不同的查询 10 回答
- 如何在pyomo.environ公司modu装置 10 回答
- 如何在Pyomoconstraints中建模逻辑或量词 7 回答
- 如何在Pyomo中为约束使用数组 7 回答
- 如何在pyomo中使用集和范围集的多级索引？ 1 回答
- 如何在PYOMO中分配伪二进制变量 6 回答
- 如何在Pyomo中创建OR约束？ 7 回答
- 如何在Pyomo中动态地将变量添加到列表中？ 3 回答
