我只能在MongoDB中执行一个非常简单的导入操作。我有一个文件,200MB大小,JSON格式。它是一个feeds转储,格式为:{"some-headers":"", "dump":[{"item-id":"item-1"},{"item-id":"item-2"},...]}
这个json提要也包含英语以外的其他语言的单词,如中文、日语、字符等。
我试图将mongoimport作为mongoimport --db testdb --collection testcollection --file dump.json
执行,但可能是因为数据有点复杂,它将dump
作为一个列处理,结果由于4MB列值限制而导致错误。
我进一步尝试了一个python脚本:
import simplejson
import pymongo
conn = pymongo.Connection("localhost",27017)
db = conn.testdb
c = db.testcollection
o = open("dump.json")
s = simplejson.load(o)
for x in s['dump']:
c.insert(x)
o.close()
Python在运行这个东西时被杀死了,可能是因为我尝试使用的资源非常有限。
我减少了文件大小,得到了一个50MB的新json转储,现在由于ASCII问题,python再次困扰我。
我正在寻找使用mongoimport
和上面的python脚本的选项。任何进一步的解决方案也将不胜感激。在
另外,我可能有一天会到达json dump~GBs,因此如果有其他解决方案我应该考虑,那么pl do highlight。在
目前没有回答
相关问题 更多 >
编程相关推荐