有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java如何在H2O中设置主节点的内存多于工作节点的内存?

在我的算法中,主节点需要更多的内存(比如20GB),而工作节点需要更少的内存(比如3GB)。然而,据我所知,在H2O中,只可能使用-mapperXmx将主节点设置为与工作节点相同的内存

在apachespark中,可以使用--driver-memory参数指定驱动程序内存。然而,我还没有找到一种在H2O中设置“master/driver”节点内存的等效方法

我正在Hadoop集群(基本上是纱线集群)上运行H2O(不是起泡水),使用以下命令: hadoop jar h2o-hadoop-3/h2o-cdh6.3-assembly/build/libs/h2odriver-3.33.1.jar -nodes 5 -mapperXmx 3g -output my/output/dir/on/hdfs。通过这种方式,我可以将工作节点的内存指定为3GB。但是,我找不到指定主节点内存的参数。是否可以将主节点设置为20GB


共 (1) 个答案

  1. # 1 楼答案

    主节点也称为“驱动程序”,所以可以设置驱动程序内存:spark.driver.memory这里有一个complete list of settings可以调整