用CouchDB和Python使用机器学习来检测“异常行为”？

Question

当用户访问我的Python web服务时，我收集了很多非常有趣的数据点。例如，我有他们当前的城市、州、国家、用户代理等。我想做的是通过某种类型的机器学习系统/算法（可能是贝叶斯分类器？），最终目标是在发生异常情况时获得电子邮件通知（异常检测）。例如，Jane Doe只在Chrome上从美国登录过。所以，如果她突然在火狐上从乌克兰登录到我的网络服务，我想把这看作一个非常“不寻常”的事件，并发出通知。

我已经在使用CouchDB（特别是与Cloudant一起使用），而且我经常看到人们在网上说Cloudant/CouchDB非常适合这类事情（大数据分析）。但是我完全不知道从哪里开始。在文档方面，我没有发现太多关于web服务的外围事件的相对简单的跟踪，更不用说使用CouchDB存储以前“学到的”数据了。我看到有几个专门的系统可以进行这种类型的数据处理（我想到的是PredictionIO），但是我忍不住觉得，考虑到CouchDB的特性，这些系统已经被过度破坏了。

任何洞察都将不胜感激。谢谢！

Answer 1

我还认为使用sklearn中的svm.OneClassSVM的方法将产生一个好的异常值检测器。然而，我根据问题中的示例整理了一些有代表性的数据，它根本无法检测出异常值。我将nu和gamma参数从0.01扫到0.99，发现没有令人满意的支持向量机预测。

我的理论是，由于样本具有分类数据（城市、州、国家、网络浏览器），SVM算法不是正确的方法。（顺便说一下，我是先用DictVectorizer.fit_转换方法把数据转换成二进制特征向量的）。

我相信@sullivanmatt建议使用贝叶斯分类器是正确的。贝叶斯分类器用于有监督的学习，但至少在表面上，这个问题被描述为无监督的学习问题，即我们不知道先验的哪些观察值是正常的，哪些是异常值。

因为您想要检测的异常值在网站访问流中非常罕见，所以我相信您可以通过将训练集中的每个观察标记为正/正态观察来训练贝叶斯分类器。分类器应该预测真实的正态观测值具有更高的概率，因为大多数观测值都是真正态的。一个真正的异常值应该是一个低预测概率。