如何通过pyspark运行bash命令？

Question

我试图通过Python在spark上运行bash命令

我当前的简单代码如下：

import subprocess

print("Test start")
subprocess.Popen("conda install numpy=1.15.2 -n python35env--yes", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE).wait()
print("Test end")

上面的代码正在成功执行，我确实看到了print语句“Test start”和“Test end”，但是numpy包没有安装在python35env环境中

对于在Spark worker节点中运行conda install bash命令，我是否遗漏了一些重要的内容？甚至在驱动节点上

Answer 1

您可以尝试从可执行目录运行它。默认情况下，子进程从系统运行它

subprocess.Popen("conda install numpy=1.15.2 -n python35env yes", shell=True, stdout=subprocess.PIPE,
                     stderr=subprocess.PIPE, cwd = 'your conda excutable path')