java如何优化Spark RDD操作循环?
如何优化循环中执行的RDD操作
例如:
for(String x:mycollection) {
//Perform something on RDD with x
}
Problem:
上面的代码顺序地对每个元素执行RDD操作,即使对每个集合项没有依赖关系
这可以优化为在每个元素上并行执行RDD操作吗
Java反思在这方面会有所帮助吗
你可以在下面搜索框中键入要查询的问题!
如何优化循环中执行的RDD操作
例如:
for(String x:mycollection) {
//Perform something on RDD with x
}
Problem:
上面的代码顺序地对每个元素执行RDD操作,即使对每个集合项没有依赖关系
这可以优化为在每个元素上并行执行RDD操作吗
Java反思在这方面会有所帮助吗
共 (0) 个答案