大数据集neo4j批量导入器的替代方案

2024-09-28 16:23:36 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在尝试将一个大型数据集导入neo4j,在读取了一个.xls文件之后,我创建了一个Python脚本将cypher查询写入一个.cql文件,然后使用neo4j shell运行它们。这适用于一个小数据集。但随着数据集大小的增加,我的系统也因此崩溃。你知道吗

我很少看到使用批导入器的建议,但它们通常是基于Java(例如Groovy)的,这是我不习惯使用的。那么,除了批插入或者至少通过Python批插入之外,还有其他方法吗?你知道吗


Tags: 文件数据方法脚本系统javashellxls
1条回答
网友
1楼 · 发布于 2024-09-28 16:23:36

您可以尝试Neo4J加载CSV工具/cypher命令。 它非常灵活,可以与USING PERIODIC COMMIT一起使用,通过进行周期提交来处理非常大的数据集,以防止缓冲区溢出问题,并进一步优化流程。你知道吗

唯一的先决条件是您能够以CSV格式导出原始数据。你知道吗

http://neo4j.com/developer/guide-import-csv/

http://neo4j.com/docs/developer-manual/current/#cypher-query-lang (section 8.6)

相关问题 更多 >