来自偏移量的java JavaPairInputStream流

Question

我试图在使用spark direct streaming时将偏移量保存到zookeeper。我看到JavaInputDstreamAPI有一个从特定偏移量开始的选项，但我需要它，因为JavaPairInputDstream有没有解决方法可以用来获取JavaPairInputDstream，因为我看到它在API中不可用

JavaInputDStream<String>  messages = KafkaUtils.createDirectStream(jsc, String.class,
                            String.class, StringDecoder.class, StringDecoder.class, String.class, kafkaParams, offsets,(messageAndMetadata) -> messageAndMetadata.message());

但是我使用的JavaPairInputStream没有这个偏移量

Answer 1

我在直接流中做了一个转换，并映射到一个键值对

  final JavaPairDStream<String, String> messages2 =messages.transformToPair(pairRdd -> {

                            pairRdd.mapToPair(label->new Tuple2<>(label,label))};);