是否可以在mapreduce过程中可视化映射器结果？

Question

在-00000文件部分中，我们可以找到所有过程的结果（map+reduce），但我希望看到第一步（map）的结果，然后是整个结果。你知道吗

我正在使用pythonmap-reduce脚本开发hadoopcloudera。你知道吗

Answer 1

如果这只是为了初步分析目的，以便理解数据和键，那么您可能希望将Reducer count设置为0，并获得映射的输出。 -D级映射的.reduce.tasks=0在java中是一种方法，在Python中也是如此。你知道吗

Answer 2

我猜您想输出map的结果或map的进程，一种解决方案是将map的结果输出到stderr。 前任： 如果是python：

import sys
print >> sys.stderr, "result of map"

如果外壳：

echo -e "result of map" >&2

然后，您可以在hadoop作业日志中看到map的结果