hadoop中用于输入拆分的java自定义输入格式

Question

我是否能够将整个input split输入到映射器中，而不是将每行输入拆分到映射器中

为此，我需要实现自己的自定义输入格式。 但是如果我在写WholeFileInputFormat

这是指映射程序获取整行还是整个输入拆分

NLineInputFormat解决了我的问题吗

Answer 1

我不会为NLineInputFormat而烦恼。您可能并不总是知道N是什么，也不需要读取每个文件的输入格式来查找行字节偏移量

来自here的WholeFileInputFormat（我假设您正在引用的是它）将把整个文件作为值传递给map方法