使用spark foreachpartition方法的问题

Question

我正在运行一个Python脚本，它使用Spark首先将参数传递到另一个RDD，然后在不同的分区下运行该命令。在

我已经下载了参数条件中指定的正确软件。在

代码的两条主线是

otherRDD = readRDD.pipe("bowtie2 -x" + bowtie_index)

以及

^{pr2}$

一个软件的第一行包含了一系列参数。在

该方法是一个函数，它接受每个分区并对其进行转换，然后将其写入一个文件（输出文件）。在

{cdam>现在找不到正确的错误。我很困惑为什么会这样，因为我将软件作为一个模块安装（在RedhatLinux集群上），如果我直接进入命令行并使用它，它是可以访问的。在

错误似乎发生在方法内部第一个分区的执行过程中。错误仍然相同，并指向pipe命令内的字符串。在

编辑1：我怀疑错误在于我如何从管道创建sam文件。有什么想法吗？在

Answer 1

似乎一个快速的解决办法是使用蝴蝶结作为可执行文件，而不是作为一个模块！在