java集成Hbase和Hive的优势是什么 1 月,1 周 Questions & Answers 3401 最近,我看到一个博客,作者在博客中提到集成Hbase和Hive。这可能吗?如果可能的话,使用两者的优势是什么(在性能和可伸缩性方面)。如果我做错了,请纠正我
# 1 楼答案 我认为这将是可能的,但不是微不足道的设置一点,也许CDH3最终将包括整合,当它出来 优点:Hive查询优于hbase。思考如何在HBase数据上进行聚合和简单操作 为什么不用Hive而不用HBase呢?HBase为您提供了一个可扩展的存储基础架构,使数据保持在线。StumbleUpon在其live网站上使用HBase。Hive不是实时查询引擎,因此其数据存储不能用于类似目的。Hive over HBase为您提供了两个世界的好处
# 2 楼答案 目前有一个补丁可以在HBase和Hive之间加载数据。你可以在这里找到它: http://wiki.apache.org/hadoop/Hive/HBaseIntegration 实现开销看起来相当高 在HBase表上运行扫描并保存到外部文件,然后将其导入配置单元以进行数据操作可能会更容易。(这也很麻烦,但如果你经常这样做,可以编写脚本。)这就是我目前正在研究的解决方案。我会告诉你进展如何 至于为什么你会选择HBase而不是Hive,它们并不是真正可以互换的。HBase是在Hadoop之上构建的一个高度可扩展的数据存储,几乎不支持数据分析。另一方面,Hive不用于在生产环境中存储数据,而是使对大量数据运行特定查询变得非常容易
# 1 楼答案
我认为这将是可能的,但不是微不足道的设置一点,也许CDH3最终将包括整合,当它出来
优点:Hive查询优于hbase。思考如何在HBase数据上进行聚合和简单操作
为什么不用Hive而不用HBase呢?HBase为您提供了一个可扩展的存储基础架构,使数据保持在线。StumbleUpon在其live网站上使用HBase。Hive不是实时查询引擎,因此其数据存储不能用于类似目的。Hive over HBase为您提供了两个世界的好处
# 2 楼答案
目前有一个补丁可以在HBase和Hive之间加载数据。你可以在这里找到它:
http://wiki.apache.org/hadoop/Hive/HBaseIntegration
实现开销看起来相当高
在HBase表上运行扫描并保存到外部文件,然后将其导入配置单元以进行数据操作可能会更容易。(这也很麻烦,但如果你经常这样做,可以编写脚本。)这就是我目前正在研究的解决方案。我会告诉你进展如何
至于为什么你会选择HBase而不是Hive,它们并不是真正可以互换的。HBase是在Hadoop之上构建的一个高度可扩展的数据存储,几乎不支持数据分析。另一方面,Hive不用于在生产环境中存储数据,而是使对大量数据运行特定查询变得非常容易