C包装Python库Json切片器比纯Python ijson库慢

Question

根据官方文档（https://pypi.org/project/jsonslicer/），Json切片器的基本配置每秒产生586.5K个对象，后端使用Python的ijson每秒产生32.2K个对象，而使用C后端（ijson.yajl2_cffi）的ijson每秒产生75.7Kobjects

当我在5GB大小的深度嵌套JSON文件上使用这两个库时，JSON切片器作为YAJL（https://lloyd.github.io/yajl/）上的包装器，其执行速度比纯Python实现的ijson更快。然而，Json切片器花费的时间是607.8014905452728秒，而ijson花费的时间是308.19292974472046秒

根据各种来源（https://lpetr.org/2016/05/30/faster-json-parsing-python-ijson/，http://explique.me/Ijson/），使用C后端的ijson应该比使用纯Python后端的ijson工作得更快。但是，ijson使用C后端所花费的时间为2016.68796280378929秒

在不同场合对不同大小的Json文件集多次运行时，会观察到这种行为

我的系统配置是带有20GB RAM的英特尔i7。脚本执行期间未使用多处理

有人能解释一下这种奇怪行为的根本原因吗？也请让我知道一个解决办法

Answer 1

请注意，由于2.4 ijson有一个新的yajl2_c后端，全部用C编写（即不使用cffi或ctypes），它比其他后端快约10倍。由于2.5，这是默认情况下选择的，如果在您的安装中出现（可能是您的情况，因此您看到了更快的执行）。从2.6开始，有一个新的kvitems方法可以避免构造完整的对象并迭代其成员，这在某些情况下很有用

历史上没有yajl2_c后端，所以当人们提到“C后端”时，实际上是yajl2_cffi后端。除此之外，人们可能仍然认为ijson默认使用python后端

所以要回答您的问题：您可能正在使用yajl2_c后端运行ijson，并且运行速度比JsonSlicer快