Hadoop日志数据保存与GUI开发

Question

我正在为我的新项目做研究，以下是我的项目、研究和问题的细节：

项目名称：

1. 保存来自不同来源的日志（例如，格式为时间戳、日志条目、位置、备注等）。在这里，不同的源类似于从全球不同的系统获取日志数据（只是一个概述）

2. （按照1中的指定在Hadoop中保存日志条目后）按需生成保存在Hadoop中的日志的报告，如向下钻取、向上钻取等

注意：每分钟大约有50到60 MB的系统日志条目（我检查过了）。在

研究和问题：

1. 为了在Hadoop中保存来自不同源的日志条目，我们使用apacheflume。在
2. 我们正在创建自己的MR程序和servlet。在

除了水槽，他们还有什么好选择吗？ 他们有没有Hadoop数据分析（开源）工具来生成genarte报表等？在

我正在做我的研究，如果我们中的任何人给我一些意见，这将是有益的。在

Answer 1

你看过Datameer吗？它提供了一个GUI来导入所有这些类型的文件，并创建报表和仪表板。在

Answer 2

我想你可以用蜂箱。即使我对Hadoop还不熟悉，但也读过一些Hadoop分析的配置单元。不确定它是否有GUI，但可以肯定它具有查询非结构化数据的SQL能力。在