用python编写快速解析器

Question

我为我们在一堂课中使用的某种文件格式（ARFF）编写了一个实用的递归纯python解析器。现在运行我的练习提交非常慢。到目前为止，大部分时间都花在我的解析器上。它消耗了大量的CPU时间，HD并不是瓶颈。

我想知道用python编写解析器的性能有哪些方法？我不想用C语言重写它。我试着用jython，但那大大降低了性能！我分析的文件部分很大（>；150 MB），行很长。

我当前的解析器只需要在一个字符之前进行一次查找。我会把消息发布在这里，但我不知道这是不是个好主意。毕竟提交截止日期还没有结束。但是，这个练习的重点不是解析器。您可以选择想要使用的任何语言，而且已经有了一个Java解析器。

注意：我有一个x86_64系统，所以psyco（看起来也是PyPy）是没有选择的。

更新：我现在将解析器/编写器上传到bitbucket。

Answer 1

您可以使用ANTLR或pyparsing，它们可能会加快您的解析过程。

如果您想保留当前代码，您可能需要查看Cython/PyPy，这会提高性能（有时高达4倍）。