Spark EMR：需要配置多个sparksubmit在EMR clus中并行工作

Question

我是AWS EMR的新手，我面临着一个问题：让多个spark提交并行运行。在

我有一些作业计划每10分钟运行一次，还有一项作业每6小时运行一次。集群有足够的资源同时运行它们，但默认配置将它们放在单个根目录下。使它们按顺序运行的默认队列。这不是我想要的。 我必须在配置文件中写入什么？在

我尝试过将队列“1”、“2”和“3”添加到根队列中（在yarn中-站点.xml)并将每个作业提交到单独的队列中。但它们仍然按顺序运行（不是我想要的那样并行）。在

spark-submit --queue 1 --num-executors 1  s3://bucket/some-job.py

spark-submit --queue 2 --num-executors 1  s3://bucket/some-job.py

Answer 1

简单地说，给出队列的配置。创建EMR时，可以为纱线调度员. 如果您有首选配置，请指定它。For example

"Classification": "capacity-scheduler",
"Properties": {
     "yarn.scheduler.capacity.root.queues": "default, gold, silver, bronze"
}

这会给你几个排队槽。在

---

另一个选择是修改已经运行的EMR。与上面类似，但是可以通过awscli或其他sdk来完成。See the article。在

它使用命令

^{pr2}$

以some.json为形式，如：

{
   "ClusterId":"j-MyClusterID",
   "InstanceGroups":[
      {
         "InstanceGroupId":"ig-MyMasterId",
         "Configurations":[
            {
               "Classification":"capacity-scheduler",
               "Properties":{
                  "yarn.scheduler.capacity.root.queues":"default, bronze, silver, gold"
               },
               "Configurations":[]
            }
         ]
      }
   ]
}