在Hadoop中使用Python代码处理整个文件（最好是Dumbo）

Question

这似乎是一个非常常见的用例，但在Hadoop中很难实现（WholeFileRecordReader类也有可能）。 小飞象还是猪有可能？ 有人知道用Dumbo或Pig将整个文件作为地图任务处理的方法吗？在

Answer 1

我假设你想有一个档案记录在案。如果没有，请在你的问题中更具体一些。在

我不知道有一个Pig存储加载器可以一次加载整个文件（在标准发行版中或在piggybank中）。我建议您编写自己的Pig custom loader，这相对比较容易。在

Answer 2

WholeFileRecordReader表示不拆分输入文件？如果是，请定义分割最小值。大小设置为非常大的值，mapreduce和Pig都会接受它。在