猪Hadoop流帮助

Question

我有问题运行猪流。当我用一台机器启动一个交互式pig实例（仅供参考，我是通过SSH/Putty在交互式pig AWS EMR实例的主节点上执行此操作）时，我的pig流可以完美地工作（它也可以在我的windows cloudera VM映像上工作）。然而，当我切换到使用多台计算机时，它只是停止工作并给出各种错误。在

请注意：

• 我能够在多台计算机实例上运行没有任何流命令的Pig脚本。在
• 我所有的pig工作都是在pig MapReduce模式下完成的，而不是-x本地模式。在
• 我的python脚本（stream1.py）上面有这个！/usr/bin/env python

下面是我迄今为止尝试过的一些选项的小示例（以下所有命令都是在master/main节点上的grunt shell中完成的，我通过ssh/putty访问该节点）：

这就是我如何将python文件放到主节点上，以便使用它：

cp s3n://darin.emr-logs/stream1.py stream1.py
copyToLocal stream1.py /home/hadoop/stream1.py
chmod 755 stream1.py

以下是我的各种流模式：

^{pr2}$

Answer 1

DEFINE X `stream1.py` SHIP('stream1.py');

根据您的前提条件和当前本地目录中的stream1.py对我来说是有效的。在

确保这一点的方法：

^{pr2}$

SHIP的目标是将命令复制到所有任务的工作目录中。在