有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

学习java for hadoop需要python吗?

我想从头开始学习大数据技术。我想知道,由于我已经精通python,是否有必要学习java以使用hadoop进行操作


共 (3) 个答案

  1. # 1 楼答案

    查看^{},这是一个基于python的包装,用于运行、记录和监视hadoop作业

    尽管在某些情况下纯java解决方案might be faster,但您几乎不需要调试java代码

  2. # 2 楼答案

    不,您不一定需要java知识,因为您可以在pig或hive中很好地编写MapReduce作业(类似于SQL)。然而,与所有抽象层一样,在某些时候,您可能需要知道“幕后”发生了什么,并且能够查看、理解和调试底层java是一个很大的优势

    目前有很多工作要做,比如使用Impala(Cloudera)、Presto(Facebook)、Phoenix和Hive(已经提到)等工具为hadoop提供更完整的SQL接口

  3. # 3 楼答案

    根本不需要,尽管这只是我的意见。如果你身体好的话,你会没事的

    看看这个writing a hadoop map reduce in python。有很多方法可以用hadoop实现解决方案。仅仅因为它们中有很多是用Java编写的,并不意味着Java是解决这些问题的唯一工具。如果您使用的是用java编写的legacy,那么了解基础知识可能会有所帮助,但老实说,我认为您可以在遇到它们时参考它们。无需花费一周的时间来学习Java7的复杂性以及Java8中的新功能,以满足您当前的需求