我们有大量的事件流量日志(由入侵检测系统NIDS和HIDS生成,但无所谓)
流量是异步的,事件也不相同,但每个事件至少有以下详细信息:
-日期和时间,
-协议,
-源IP和端口,
-目标IP和端口,
-有效载荷和….
我们要做一个相关引擎,首先接收这个事件日志(例如通过syslog),然后是PAR事件并分离上述参数,最后重要的是我们要将这些参数相互关联并生成新的警报。
例如,相关规则可以是:如果源ip在一分钟内重复超过20次,并且如果这一分钟每天重复超过40次,则生成警报。
最大的问题是事件的数量通常是每秒超过30000个事件!!相关规则应超过上述的100关联规则。
以前和流行的解决方案大多是用 C/C+++b/>,使用MySQL(玛丽亚DB),但由于某种原因,我们更喜欢< B> Python 和 PostgreSQL > /b>
1-首先,我想知道瓶颈是依赖于还是独立于编程语言、数据库或其他东西。
第二,如果第一个问题的答案是“是”,那么python和postgres能否为我们处理这样的性能呢?以前有没有有效的案例研究做过类似的事情?(或任何基准)
目前没有回答
相关问题 更多 >
编程相关推荐