numpy.savez公司非阻塞i/o;可能吗?

2024-06-03 04:56:54 发布

您现在位置:Python中文网/ 问答频道 /正文

我已经在Cython中运行了一些长时间运行的、紧循环的、数字处理的OpenMP代码,但是现在我又回到python/numpy中编写检查点。我还将中间结果可视化到检查点中,这样就不会完全浪费它们。你知道吗

我正在经历一个“阿姆达定律”在我的挂钟时间放缓,因为我不知道如何得到numpy.savez公司(或者是表哥,numpy.savez\u压缩)执行非阻塞I/O

我曾经尝试过尝试使用“多处理”或“多线程”来与数字处理并行地进行压缩和I/O。(我留了几个内核,因为这个盒子是我的主工作站。)

在我进入“迂回曲折的通道迷宫,都一样:D”之前,我想问一下,是否有人已经从(I)Python/Numpy/Cython生态系统中找到了一个干净的解决方案。你知道吗

提前感谢您提供的任何建议!你知道吗

弗兰克·霍洛维茨


Tags: 代码numpy可视化时间浪费公司数字检查点