如何从许多JSON文件中创建快速、可查询的索引（最好是在Python中）

Question

我有78000个单独的JSON文件，这些文件是用Python脚本创建的，它可以从社区论坛中获取信息，并从每个帖子中提取信息。它们由简单的键值对组成，如下所示：

{
    "name": "Chris Wilson",
    "item": "Darth Vader speaker phone",
    "price": "$100",
    "notes": "Great condition!"
}

{{and-Some key在cd2>中出现，而其他一些则只出现在cd2}中。（我正在抓取的站点允许用户定义字段。）我希望能够根据我想要的任何字段进行搜索、排序和分组。在

通常，我会将每个文件加载到SQLite数据库中，然后从那里进行查询。考虑到这么多领域，这将是极其乏味的。在

从我对NoSQL框架的了解来看，这似乎是一个非常适合于基于文档的系统而不是传统关系数据库的项目。我试着学习CloudDB，但是我能找到的大多数文档都假设您从空数据库开始，而不是从预制的文档本身开始。在

对于索引和查询大量字典对象，是否有一个好的、相当简单（或者至少有充分文档记录）的解决方案？我更喜欢Python，但很乐意冒险进入Node或其他任何地方。在

谢谢你！在

如果你对达斯·维德的电话感兴趣，请告诉我。在

Answer 1

这听起来是MongoDB的完美用例。设置MongoDB并使用mongoimport file <filename>将JSON文件直接导入集合

他们也有很好的python支持。在

一些文档链接：

http://docs.mongodb.org/manual/reference/mongoimport/#cmdoption-mongoimport file

http://docs.mongodb.org/ecosystem/drivers/python/

Answer 2

你可能想看看Julian Hyde's博客，他最近用apachedrill发布了一些关于JSON上SQL的文章。在