来自现有RDD的java Spark流媒体
任何人请帮助我如何从现有的RDD创建数据流。 我的代码是:
JavaSparkContext ctx = new JavaSparkContext(conf);
JavaRDD<String> rddd = ctx.parallelize(arraylist);
现在我需要使用这些rddd作为JavaStreamingContext的输入
你可以在下面搜索框中键入要查询的问题!
任何人请帮助我如何从现有的RDD创建数据流。 我的代码是:
JavaSparkContext ctx = new JavaSparkContext(conf);
JavaRDD<String> rddd = ctx.parallelize(arraylist);
现在我需要使用这些rddd作为JavaStreamingContext的输入
# 1 楼答案
试试queueStreamAPI
RDD队列作为一个流,推送到队列中的每个RDD都将被视为数据流中的一批数据,并像流一样进行处理