用regex-python解析大文件的最佳方法

Question

我必须在python中使用regex解析一个大的日志文件（2GB）。在日志文件中，正则表达式匹配我感兴趣的行。日志文件也可能包含不需要的数据。在

以下是文件中的示例：

"#DEBUG:: BFM [L4] 5.4401e+08ps MSG DIR:TX SCB_CB TYPE:DATA_REQ CPortID:'h8 SIZE:'d20 NumSeg:'h0001 Msg_Id:'h00000000"

我的正则表达式是".DEBUG.*MSG."

首先我要用空格分开，然后字段：值模式被插入到sqlite3数据库中；但是对于大型文件，解析该文件大约需要10到15分钟。在

请提出在最短时间内完成上述任务的最佳方法。在

Answer 1

保罗的回答是有道理的，你首先要明白你在哪里“浪费”了时间。 如果没有探查器，最简单的方法是在算法的每个“步骤”前后（打开文件、逐行读取（以及在内部，split/regexp识别调试行所用的时间）、将其插入数据库等，以毫秒为单位发布时间戳。在

如果不进一步了解您的代码，可能会有一些非常耗时的“陷阱”： -多次打开日志文件 -每次需要插入数据时打开数据库，而不是打开一个连接，然后边写边写