芹菜:如何自定義多進程池的初始化?

2024-09-30 16:33:11 发布

您现在位置:Python中文网/ 问答频道 /正文

我希望进程池中的进程从分配的一些GPU开始 数组(根据请求分配数组花费的时间太长)。你知道吗

  1. 有没有一种方法可以自定义池s.t的初始化。池中的每个进程都有一个GPU分配的数组,并且只有在内存耗尽时才释放内存?

  2. 如果以上是可能的,那么一个任务将如何访问在初始化时分配的执行线程的GPU张量?

我可以从celery的github中看到pefork.py定义了process_initializer函数,该函数用作进程池的初始值设定项。我计划编辑源代码,但我不知道如何处理这个问题。你知道吗

谢谢


Tags: 方法函数内存pygithubgpu定义进程