数据节点上未安装导入包的Python Hadoop流式处理

Question

我尝试在pythonhadoop流媒体中导入scikit image，并尝试了stackoverflow here和{a2}上的现有帖子，但没有一个能解决我的问题。在

真正的问题是，即使我使用-file将zip/mod文件与打包的scikit image文件夹一起分发，运行在数据节点上的python脚本如何知道如何提取这些包并导入到代码中？ 注意，我已经在name节点上安装了pythonscikit映像，并且能够运行本地实验。在

我的脚本很简单：python流的经典字数示例，在映射器.py. http://www.michael-noll.com/tutorials/writing-an-hadoop-mapreduce-program-in-python

---

我的命令：

hadoop jar hadoop-streaming.jar \
-file mapper.py    -mapper mapper.py \
-file reducer.py   -reducer reducer.py \
-file ./skimage.mod \
-input /user/text/* \
-output /user/textoutput/

---

屏幕打印输出：

^{pr2}$

---

我检查了hadoop作业中的错误日志，它抱怨说找不到“import skimage”，这意味着它没有被数据节点接收。在

Answer 1

您是否尝试过zipimport解决方案？在

下面是一个例子：Hadoop: How to include third party library in Python MapReduce