2024-05-06 15:54:11 发布
网友
我想几个并行运行的进程读写到同一个numpy数组。为了避免两个进程试图读/写同一个内存的问题,我需要保护正在写入的文件。我该怎么做?你知道吗
我假设np.savetxt不保护文件。我试过图书馆portalocker。但是通过打开并锁定文件,np.savetxt不允许写入文件。你知道吗
np.savetxt
portalocker
有关使用工作线程池的示例,请参见this question "Downloading over 1000 files in python" (link)。你知道吗
基本上,您可以预先分割所有工作,将工作放入队列中,并让一个工作线程池处理每一项工作。工作人员将结果放在另一个队列中,该队列可以由另一个线程处理,以将所有部分放在一起。你知道吗
有关使用工作线程池的示例,请参见this question "Downloading over 1000 files in python" (link)。你知道吗
基本上,您可以预先分割所有工作,将工作放入队列中,并让一个工作线程池处理每一项工作。工作人员将结果放在另一个队列中,该队列可以由另一个线程处理,以将所有部分放在一起。你知道吗
相关问题 更多 >
编程相关推荐