使用子进程Popen运行MPI程序

Question

我有一个python代码，它使用subprocess.Popen和mpirun运行另一个应用程序。 代码在一台机器上运行是否完美，在另一台机器上我会遇到问题。 但我也有一个更老的康达环境，它在那里工作。 要复制的最小代码如下所示：

from subprocess import Popen
from mpi4py import MPI

proc = Popen("mpirun -n 2 echo 1".split())

在这一行proc立即终止proc.poll()返回1。python scrip实际上并不使用MPI，它只是作为python script.py运行，但是它依赖于另一个调用MPI的程序。我需要用mpirun重复运行另一个代码（当然我实际上并不执行echo 1）

我认为这取决于安装的MPI：

工作：

$ conda list -n ForkTPS | grep mpi
WARNING: The conda.compat module is deprecated and will be removed in a future release.
fftw                      3.3.8           mpi_mpich_hc19caf5_1012    conda-forge
h5py                      2.10.0          nompi_py38h7442b35_105    conda-forge
hdf5                      1.10.6          mpi_mpich_hc096b2c_1010    conda-forge
mpi                       1.0                       mpich    conda-forge
mpi4py                    3.0.3            py38h4a80816_2    conda-forge
mpich                     3.3.2                hc856adb_2    conda-forge

以及

conda list | grep mpi
dask-mpi                  2.21.0                   pypi_0    pypi
fftw                      3.3.8           mpi_mpich_h3f9e1be_1011    conda-forge
hdf5                      1.10.5          mpi_mpich_ha7d0aea_1004    conda-forge
impi_rt                   2019.8                intel_254    intel
libnetcdf                 4.7.4           mpi_mpich_h755db7c_1    conda-forge
mpi                       1.0                       mpich  
mpi4py                    3.0.3            py37hf484d3e_7    intel
mpich                     3.3.2                hc856adb_0    conda-forge
netcdf4                   1.5.3           mpi_mpich_py37h91af3bc_3    conda-forge

不工作：

conda list | grep mpi
fftw                      3.3.8           mpi_openmpi_h6dd7431_1011    conda-forge
hdf5                      1.10.6          mpi_openmpi_hac320be_1    conda-forge
mpi                       1.0                     openmpi    conda-forge
mpi4py                    3.0.3            py38h246a051_2    conda-forge
openmpi                   4.0.5                hdf1f1ad_1    conda-forge

是否有合理且可重复的方法来避免此问题？我必须让我的代码可供几个合作者使用。乍一看，我会说区别在于使用MPICH和OpenMPI

Answer 1

至少在OpenMPI中，您不能使用fork&；从MPI程序执行mpirun

因为您from mpi4py import MPI，python脚本是在单例模式下运行的，因此您不能Popen(["mpirun", ...)

摆脱mpi4py行应该可以解决您的问题