构建自己的NLP API

Question

我正在建立一个聊天机器人，我是新来的NLP。在

在(美国石油学会&；AlchemyAPI对于我的用例来说太贵了。以及机智似乎是一辆小车，而且目前在不断变化。）

对于NLP专家来说，在本地复制他们的服务有多容易？在

到目前为止我的设想（使用node，但对Python开放）：

• 通过StanfordNER提取实体
• 通过NodeNatural的LogisticRegressionClassifier
• 用文本和validate/invalidate按钮训练用户界面（有没有预先构建的工具？）在

实体和意图是我需要的聊天机器人吗？与NLP-as-a-service相比，nodennatural/StanfordNER有多好？我没有看到什么头痛？在

Answer 1

看看Luis.ai（来自Microsoft）。它将帮助你建立一个自然语言模型来识别意图。你可以将意图映射到动作。它允许您包括预先配置的NLP模型，以便您的bot能够破译文本并返回实体（名称、时间、地理位置等），并且Luis支持多种语言。当然，您可以添加自己的实体。在

然后用话语训练它。当用户和你的机器人交谈时，这些话语被储存在网上路易斯艾这将建议您添加一些内容，通过它的建议功能进一步完善您的模型（这允许无需编码的增量改进）。现在我们来看看代码。。。在

访问路易斯艾当您构建模型（免费）时，您可以通过这里的测试控制台进行测试：https://dev.projectoxford.ai/docs/services，然后您可以使用他们的Bot框架；不过，我正在JQuery/Bootstrap中构建自己的模型（请看一下这个，看看我在这里构建的是什么http://onlinebotbuilder.com），并通过一个post到Cognitive Services API（您可以在Python中也可以）。目前，他们每个月允许10万次发言；这对于测试来说已经足够了。提示：在创建模型时，从两个意图开始，并训练模型识别这些意图。保持简单，然后扩展范围。希望这有帮助。在

Answer 2

有两件事需要考虑：你打算如何处理代际问题？实体提取和分类对于自然语言理解（NLU）方面很有用，但是生成本身就很棘手。在

另一个需要考虑的问题是，这些模型的管道的培训和开发通常是一个独立于部署的问题。我认为，您希望使用node这一事实表明您已经知道如何部署软件。但请记住，在管道中部署大型机器学习模型可能会很复杂，我怀疑这些API可能会为您提供打包整齐的管道。在

Answer 3

你好像完成了你的家庭作业。就像你说的，接下来的事情会对你有所帮助

• 任何用于识别意图的分类算法，如sklearn的LinearSVC或logisticRetirection分类器
• 任何好的NER工具，如StanfordNER或CRFsuite。CRFsuite具有易于使用的pthon包装，称为pycrfsuite。在
• 一个更人性化对话的情感分析工具。 使用python更好，因为python有很多免费库。在

只有服务的好处，如机智或者美国石油学会他们训练有素的意图和模特。你如果你能为你的机器人提供相当数量的训练，你也能达到同样的精度。在

最好是在现有的开源库上构建，而不是从头开始构建。 请在github上check my opensource project为人工智能/api.ai类似接口。 编码快乐！在