MongoDB大量写入解决方案

Question

我在这里是万不得已。 我在mongoDB中有两个巨大的集合和一个python脚本，用于在db中爬行一些数据和插入/更新数据。 我想提高性能，因为插入记录需要很长时间。 现在的速度大约是每秒50-60个查询，我想增加到200多个。 我不知道这是否有可能，也不知道我该怎么做才能实现。 而且，我的CPU负载很大。现在这个查询量的CPU负载是95%（我必须在服务器中使用Xeon CPU、90GB ram和SSD硬盘）

我有索引并尝试了MongoDB建议的所有配置。你知道吗

有什么建议吗？你知道吗

谢谢。你知道吗

Answer 1

您可以执行bulk inserts。你知道吗

看看this mongodb documentation，
可以一次写入多条记录（例如50条），而不是1乘1。你知道吗

为此，调整代码以执行写操作一旦内存中有大量已爬网的记录，这将加快进程。你知道吗

您还可以访问this资源以进一步研究capped集合。你知道吗