导入 Mongoimport json 数据,然后 big d

2024-06-28 18:58:55 发布

您现在位置:Python中文网/ 问答频道 /正文

我只能在MongoDB中执行一个非常简单的导入操作。我有一个文件,200MB大小,JSON格式。它是一个feeds转储,格式为:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]} 这个json提要也包含英语以外的其他语言的单词,如中文、日语、字符等。 我试图将mongoimport作为mongoimport --db testdb --collection testcollection --file dump.json执行,但可能是因为数据有点复杂,它将dump作为一个列处理,结果由于4MB列值限制而导致错误。 我进一步尝试了一个python脚本:

import simplejson
import pymongo
conn = pymongo.Connection("localhost",27017)
db = conn.testdb
c = db.testcollection
o = open("dump.json")
s = simplejson.load(o)
for x in s['dump']:
     c.insert(x)
o.close()

Python在运行这个东西时被杀死了,可能是因为我尝试使用的资源非常有限。 我减少了文件大小,得到了一个50MB的新json转储,现在由于ASCII问题,python再次困扰我。 我正在寻找使用mongoimport和上面的python脚本的选项。任何进一步的解决方案也将不胜感激。在

另外,我可能有一天会到达json dump~GBs,因此如果有其他解决方案我应该考虑,那么pl do highlight。在


Tags: import脚本idjsondb格式解决方案conn