一种python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。

pmacct-to-elasticsearch的Python项目详细描述


pmacct到elasticsearch

pmacct to elasticsearch是一个python脚本,用于读取pmacct守护进程的输出,对其进行处理并将其存储到elasticsearch中。它可以与memoryprint插件一起工作,还可以选择对数据执行manipulation(例如根据其他值添加字段)。

img/data_flow.png
  1. pmacct守护进程收集IP记帐数据并使用其插件进行处理;
  2. 数据存储在内存表内存插件)、json或csv文件print插件);
  3. crontab作业memory插件)或trigger脚本print插件)被调用来执行pmacct to elasticsearch;
  4. pmacct的输出记录最终由pmacct处理到elasticsearch,elasticsearch从stdin(memoryplugins)或直接从文件读取。

可选地,可以配置一些^ {STR 1 } $数据转换< /强>,以允许PMACT弹性搜索^ {STR 1 } $添加或删除发送到弹性搜索索引的输出文档的字段>。这些附加字段可能有助于增强图形和报表的可读性,或添加更高级别的聚合或筛选。

安装

使用pip安装程序:

pip install pmacct-to-elasticsearch

然后克隆存储库并运行./install脚本来设置系统:

cd /usr/local/src/
git clone https://github.com/pierky/pmacct-to-elasticsearch.git
cd pmacct-to-elasticsearch/
./install

配置

请参考CONFIGURATION.md文件。TRANSFORMATIONS.md文件包含有关数据转换配置的详细信息。

关于pmacct与elasticsearch/kibana的集成的简单教程,可以在http://blog.pierky.com/integration-of-pmacct-with-elasticsearch-and-kibana找到。

未来工作

  • 添加对更多pmacct输出格式(apache avro,…)的支持。

作者

卡洛·奇奥迪码头-https://pierky.com/

博客:https://blog.pierky.com/推特:@pierky

更改日志

0.3.1

  • 修正:ES 6.2兼容性。

    第9期<;https://github.com/pierky/pmacct to elasticsearch/issues/9>;

0.3.0

  • 新的:csv输出支持。

    插件配置文件中的InputFormat选项可用于指示pmacct到elasticsearch解析pmacct的csv输出。

  • 新的:多线程支持。

    插件配置文件中的ReaderThreads选项设置用于处理pmacct输出的线程数。

  • 新增:更多命令行参数。

    configuration options组下的命令行参数可用于覆盖在插件配置文件上完成的设置。

  • 解决在ElasticSearch 5.x上创建索引的问题。

    感谢克里斯托弗·奥尔森和丹尼尔·林德伯格的报道和他们的广泛支持。

  • 改进了索引创建模板。

  • 解决转换问题。

0.2.0

  • 新特性:对es api的http认证支持。

0.1.0

第一次释放。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
Java流收集组合器   文件如何在java中逐个压缩选定的多个文件夹   从Google存储下载数据时发生java SocketTimeoutException   java在安卓应用程序客户端上从python服务器接收值,然后显示与该值对应的mysql数据   数组如何在Java中测试字符串索引是否为Null   java将一串值拆分并放入一个表中   java Spring Memcached注释不缓存   调用pom中设置的环境变量时出现java问题。xml surefire插件   java修复JFrame中重叠的鼠标侦听器   格式化java。sql。日期至yyyyMMdd   java声音剪辑。如果剪辑不正确,isActive应返回true。启动被调用   无根计算机上hadoop中的java格式化namenode   从字符串数组中删除重复项,而无需在Java中进行显式比较   java Eclipse插件安装错误   java webdriver无法在firefox中单击超链接   动画错误。朗。反思。调用目标异常   java试图调用虚拟方法“void”。小装置。编辑文本。在空对象引用上添加TextChangedListener(安卓.text.TextWatcher)”