JavaHadoop：用于可视化关键值数据和文件以供开发的工具

Question

是否有任何简单、易于启动的java工具用于可视化map reduce作业目录中的键/值数据

具体来说，我想浏览一个20个工作图的简化工作流程，点击单个文件并查看数据，甚至可能看到文件大小的直方图

• 这里有一些注意事项，例如：

  • 某些文件具有序列化数据（不仅仅是文本）
  • 显然，在“云级别”使用这个系统可能是愚蠢的，而不是一个开发工具

然而，这种工具在开发和本地调试大型、连接的m/r管道时非常有用

这是为了开发目的（我不想在真实集群中可视化分布式键/值hadoop数据）

Answer 1

签出KarmaSphere Studio

Monitor Job Execution Step-by-Step
- Workflow with Results: Shows the resulting output at each step of the MapReduce job.
- Hadoop Logs from the Desktop: Accesses Hadoop logs easily from the desktop.
- Job Failure Options: Allows the specification of job failure options such as automatic invocation of a specified script upon job failure for EMR.