ImportError:运行sparksubmi时没有名为caffe的模块

Question

在由一个主节点和一个工作线程组成的spark独立集群上运行spark-submit时，caffepython模块由于错误ImportError: No module named caffe而无法导入

当我在本地运行作业时 spark-submit --master local script.py导入caffe模块很好。在

对于spark和caffe，环境变量当前设置在~/.profile下，它们指向PYTHONPATH。在

~/.profile是设置这些变量的正确位置还是需要系统范围的配置，例如在/etc/profile.d/下添加变量

Answer 1

请注意，CaffeOnSpark团队将Caffe移植到由Hadoop和Spark支持的分布式环境中。我99.99%肯定，您不能在Spark集群或任何分布式环境中单独使用Caffe（无需任何修改）。（据知，Caffe团队正致力于此）。在

如果您需要使用Caffe进行分布式深入学习，请按照https://github.com/yahoo/CaffeOnSpark/wiki/build中提到的构建方法来构建CaffeOnSpark，并使用CaffeOnSpark而不是Caffe。在

但是，最好的办法是遵循GetStarted_standalone wiki或{a3}来创建一个分布式环境来进行深度学习。在

此外，要添加python，请通过GetStarted_python wiki。在

另外，既然您提到您正在使用Ubuntuhere，请使用~/.bashrc来更新环境变量。您必须在更改后获取文件：source ~/.bashrc