在Hadoop流式处理中使用elephantbird输入格式时出错
回答此问题可获得 20 贡献值，回答如果被采纳可获得 50 分。
<p>我尝试在我的Hadoop流脚本中使用来自<a href="https://github.com/kevinweil/elephant-bird" rel="nofollow">Elephant Bird</a>的输入格式。特别是，我想使用LzoInputFormat，最终使用LzoJsonInputFormat（在这里处理Twitter数据）。但是当我尝试这样做时，我总是得到一个错误，它表明大象鸟格式不是InputFormat类的有效实例。在</p>
<p>这是我如何运行流式处理命令：</p>
<pre><code>hadoop jar /usr/lib/hadoop/contrib/streaming/hadoop-streaming-0.20.2-cdh3u5.jar \
-libjars /project/hanna/src/elephant-bird/build/elephant-bird-2.2.0.jar \
-D stream.map.output.field.separator=\t \
-D stream.num.map.output.key.fields=2 \
-D map.output.key.field.separator=\t \
-D mapred.text.key.partitioner.options=-k1,2 \
-file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/filter/filterMap.py \
-file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/filter/filterReduce.py \
-file /home/a/ahanna/sandbox/hadoop-textual-analysis/streaming/data/latinKeywords.txt \
-inputformat com.twitter.elephantbird.mapreduce.input.LzoTextInputFormat \
-input /user/ahanna/lzotest \
-output /user/ahanna/output \
-mapper filterMap.py \
-reducer filterReduce.py \
-partitioner org.apache.hadoop.mapred.lib.KeyFieldBasedPartitioner
</code></pre>
<p>我得到的错误是：</p>
^{pr2}$
请先 登录 后评论
针对此问题: 更多的回答
- 89 关注
- 1 收藏，216 浏览
- 网友 提问于 2天前
相关Python问题
- 文本导入时标题行中的特殊字符 5 回答
- 文本小部件：在没有输入时更新并在循环后保持空闲 7 回答
- 文本小部件tkin 10 回答
- 文本小部件tkinter中的标签更改或文本外观更改是否有撤消功能？ 5 回答
- 文本小部件tkinter复制图像选项 6 回答
- 文本小部件上的Python Tkinter ttk滚动条未缩放 8 回答
- 文本小部件上的滚动条可能需要根据制表符ord显示前进行滚动 8 回答
- 文本小部件不显示lis中的内容 10 回答
- 文本小部件不显示Unicode字符 3 回答
- 文本小部件中写入的行间距 7 回答
- 文本小部件中的文本作为变量 5 回答
- 文本小部件中的滚动条仅显示在底部 10 回答
- 文本小部件中的选项卡键空间计数 8 回答
- 文本小部件作为Lis 5 回答
- 文本小部件在主框架中扩展列宽 6 回答
- 文本小部件未使用删除功能清除 9 回答
- 文本小部件滚动动画（Tkinter、Python） 4 回答
- 文本居中。格式正确吗？ 10 回答
- 文本差分算法 4 回答
- 文本已知时音频文件中的单词索引 2 回答
