2024-05-21 18:18:22 发布
网友
我有一个python脚本,它使用numpy、sklearn和很多其他东西。这个脚本应该在线分析数千个500kb大小的wav文件。当我以并行模式运行这个脚本时,python几乎消耗了所有的内存。你知道吗
我想知道是否有可能,例如,“编译”python脚本,或者做一些事情来降低并行运行脚本的成本。你知道吗
提前谢谢!你知道吗
python中没有编译这样的东西,尽管编译是隐式进行的,但它与这个问题无关。您可能正在耗尽内存,因为您没有控制应用程序中并行进程/线程的数量。你知道吗
您可以创建一个池,然后使用它对资源消耗进行某种程度的控制。 从多处理导入池
def f(x): return x*x if __name__ == '__main__': with Pool(5) as p: print(p.map(f, [1, 2, 3]))
您可以查看此链接了解更多详细信息 https://docs.python.org/3.5/library/multiprocessing.html
使池大小与处理器中的内核数相等,以获得最佳性能。你知道吗
python中没有编译这样的东西,尽管编译是隐式进行的,但它与这个问题无关。您可能正在耗尽内存,因为您没有控制应用程序中并行进程/线程的数量。你知道吗
您可以创建一个池,然后使用它对资源消耗进行某种程度的控制。 从多处理导入池
您可以查看此链接了解更多详细信息 https://docs.python.org/3.5/library/multiprocessing.html
使池大小与处理器中的内核数相等,以获得最佳性能。你知道吗
相关问题 更多 >
编程相关推荐