在进程对象之间共享SciPy稀疏数组

2024-10-04 05:24:22 发布

您现在位置:Python中文网/ 问答频道 /正文

我最近一直在学习Python多处理,遇到了一个障碍。我有一个lerge稀疏SciPy数组(CSC格式),我需要在5个工作进程之间共享只读格式。我读过this和{a2}(numpy shared),但这似乎只适用于密集类型。在

我如何分享scipy.sparse.csc_矩阵()在5个多处理过程对象之间不进行复制(或最少复制)?即使是numpy共享方法似乎也需要复制整个数组,即使这样,我也不能只转换稀疏稀疏变成一个多点阵列(). 有谁能帮我指出正确的方向吗?在

谢谢!在


Tags: numpya2类型进程格式scipy数组this
1条回答
网友
1楼 · 发布于 2024-10-04 05:24:22

我无法帮助您解决问题的多处理部分,但CSC稀疏矩阵只不过是三个numpy数组而已。您可以实例化另一个稀疏矩阵b,它与稀疏矩阵a共享相同的内存对象,方法是:

import scipy.sparse as sps

b = sps.csc_matrix((a.data, a.indices, a.indptr), shape=a.shape, copy=False)

a.dataa.indices和{}是您希望在进程之间共享的三个numpy数组,如果您可以这样做,那么在每个进程中实例化一个稀疏矩阵将是一个廉价的操作。在

相关问题 更多 >