火花流。平行阅读卡夫卡造成重复的d

Question

下面的代码创建了6个输入数据流，这些数据流是从Kafka的6个分区主题中读取的，我发现即使为流指定相同的组ID，数据也会重复6次。如果我只创建3个数据流，我会将数据重复3次，依此类推。。。。在

numStreams = 6
kafkaStreams = [KafkaUtils.createDirectStream(ssc, ["send6partitions"], {
  "metadata.broker.list": brokers,
  "fetch.message.max.bytes": "20971520",
  "spark.streaming.blockInterval" : "2000ms",
  "group.id" : "the-same"},
  valueDecoder = decodeValue, keyDecoder = decode_key) for _ in range (numStreams)]

kvs = ssc.union(*kafkaStreams)

我做错什么了？在

Answer 1

基本上，Kafka主题是通过共享装货人默认情况下，当您创建数据流时，一个接收器将运行并通过接收器线程（Java线程）将数据从每个Kafka主题分区并行地接收到数据流分区。如果为一个主题创建6个数据流，则意味着同一个主题有6个接收器，但并不意味着每个部分都有一个数据流。每一个接受者得到每一个饲料一次，所以你得到每饲料6倍。在