用于流日志的日志异常检测器
log-anomaly-detector的Python项目详细描述
测井异常探测器
日志异常检测器是一个开源项目，代号为“天蝎座项目”。LAD也可以简称为LAD。它可以连接到流媒体源并生成异常日志线的预测。在内部它使用无监督的机器学习。我们结合了许多机器学习模型来实现这个结果。此外，它还包括人在回路反馈系统。在
项目背景
这个项目的最初目标是开发一种自动化的方法，根据应用程序日志中包含的信息，在应用程序出现问题时通知用户。不幸的是，日志中充满了可以安全忽略的警告甚至错误的消息，因此简单的“find keyword”方法是不够的。此外，日志的数量在不断增加，没有人会，也没有人能够监视它们。简而言之，我们最初的目标是使用自然语言处理工具进行文本编码，并使用机器学习方法进行自动异常检测，为了构建一个工具，该工具可以帮助开发人员更快地对失败的应用程序执行根本原因分析，方法是突出显示最有可能深入了解问题的日志，或者在应用程序开始产生高频率异常日志时生成警报。在
组件
它当前包含以下组件：
- LAD核心：包含定制代码，用于训练模型并预测日志行是否异常。我们目前使用的是W2V（word2vec）和SOM（自组织映射）和无监督机器学习。我们正计划增加更多的型号。在
- 度量：为了在生产中监控这个系统，我们使用grafana和prometheus来可视化这个机器学习系统的健康状况。在
- 事实存储：此外，我们有一个元数据注册中心，用于跟踪机器学习系统中假阳性的反馈，并为ML提供一种称为“事实存储”的方法来自我更正错误预测。在
安装
安装测井异常探测器（LAD）：
pip install -i https://test.pypi.org/simple/ scorpio
LAD requires python 3.6 or greater
文件
LAD的官方文件可以在https://log-anomaly-detector.readthedocs.io/en/latest找到
社区
有关日志异常检测器使用的帮助或问题（例如“how do I do X？”）然后您可以打开一个问题并将其标记为问题。我们的一位工程师很乐意回答。在
要报告错误、提交文档问题或提交功能请求，请打开GitHub问题。在
有关发布公告和其他讨论，请订阅我们的邮件列表（https://groups.google.com/forum/#!members/aiops）
主要更新将在我们的AiOps特别兴趣小组会议上介绍，这是openshift commons的一部分
OpenShift Commons AiOps Sig日历：https://bit.ly/2lMn6yU
贡献
我们高兴地欢迎对LAD的贡献。详情请参阅我们的捐款指南。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
