每个映射器“类型”的多个输入文件

Question

我正在尝试运行一个作业，其中每个映射器“类型”接收不同的输入文件。我知道在Java中有一种方法可以使用MultipleInputs类这样做：

MultipleInputs.addInputPath(job,new Path(args[0]),TextInputFormat.class,CounterMapper.class);
MultipleInputs.addInputPath(job,new Path(args[1]),TextInputFormat.class,CountertwoMapper.class);

在哪里CounterMapper.class以及CountertwoMapper.class是相应的映射器“类型”。在

我正试图用MrJob为Python或任何其他非Java语言实现类似的功能（请不要问原因！）。在

这个image与我想要实现的目标相似。在

感谢任何帮助。在

Answer 1

我发现了一种方法，不同的映射器可以关联到一个sing输入路径，这不能完全回答您的问题，但希望它能帮助您。在下面的链接中

Using multiple mapper inputs in one streaming job on hadoop?