出于网络安全的目的,我们可以在大量事件关联中使用Python吗?

2024-05-20 02:31:56 发布

您现在位置:Python中文网/ 问答频道 /正文

我们有大量的事件流量日志(由入侵检测系统NIDS和HIDS生成,但无所谓)
流量是异步的,事件也不相同,但每个事件至少有以下详细信息:
-日期和时间,
-协议,
-源IP和端口,
-目标IP和端口,
-有效载荷和….

我们要做一个相关引擎,首先接收这个事件日志(例如通过syslog),然后是PAR事件并分离上述参数,最后重要的是我们要将这些参数相互关联并生成新的警报。

例如,相关规则可以是:如果源ip在一分钟内重复超过20次,并且如果这一分钟每天重复超过40次,则生成警报。

最大的问题是事件的数量通常是每秒超过30000个事件!!相关规则应超过上述的100关联规则。
以前和流行的解决方案大多是用 C/C+++b/>,使用MySQL(玛丽亚DB),但由于某种原因,我们更喜欢< B> Python PostgreSQL > /b> 1-首先,我想知道瓶颈是依赖于还是独立于编程语言、数据库或其他东西。

第二,如果第一个问题的答案是“是”,那么python和postgres能否为我们处理这样的性能呢?以前有没有有效的案例研究做过类似的事情?(或任何基准)


Tags: 端口ip协议目标参数规则系统时间