有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java集成Hbase和Hive的优势是什么

最近,我看到一个博客,作者在博客中提到集成Hbase和Hive。这可能吗?如果可能的话,使用两者的优势是什么(在性能和可伸缩性方面)。如果我做错了,请纠正我


共 (2) 个答案

  1. # 1 楼答案

    我认为这将是可能的,但不是微不足道的设置一点,也许CDH3最终将包括整合,当它出来

    优点:Hive查询优于hbase。思考如何在HBase数据上进行聚合和简单操作

    为什么不用Hive而不用HBase呢?HBase为您提供了一个可扩展的存储基础架构,使数据保持在线。StumbleUpon在其live网站上使用HBase。Hive不是实时查询引擎,因此其数据存储不能用于类似目的。Hive over HBase为您提供了两个世界的好处

  2. # 2 楼答案

    目前有一个补丁可以在HBase和Hive之间加载数据。你可以在这里找到它:

    http://wiki.apache.org/hadoop/Hive/HBaseIntegration

    实现开销看起来相当高

    在HBase表上运行扫描并保存到外部文件,然后将其导入配置单元以进行数据操作可能会更容易。(这也很麻烦,但如果你经常这样做,可以编写脚本。)这就是我目前正在研究的解决方案。我会告诉你进展如何

    至于为什么你会选择HBase而不是Hive,它们并不是真正可以互换的。HBase是在Hadoop之上构建的一个高度可扩展的数据存储,几乎不支持数据分析。另一方面,Hive不用于在生产环境中存储数据,而是使对大量数据运行特定查询变得非常容易