Python中文
首页
教程
问答
标签
搜索
登录
注册
火花流。平行阅读卡夫卡造成重复的d
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>下面的代码创建了6个输入数据流,这些数据流是从Kafka的6个分区主题中读取的,我发现即使为流指定相同的组ID,数据也会重复6次。如果我只创建3个数据流,我会将数据重复3次,依此类推。。。。在</p> <pre><code>numStreams = 6 kafkaStreams = [KafkaUtils.createDirectStream(ssc, ["send6partitions"], { "metadata.broker.list": brokers, "fetch.message.max.bytes": "20971520", "spark.streaming.blockInterval" : "2000ms", "group.id" : "the-same"}, valueDecoder = decodeValue, keyDecoder = decode_key) for _ in range (numStreams)] kvs = ssc.union(*kafkaStreams) </code></pre> <p>我做错什么了?在</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>我不熟悉Python,但是Spark Scala中的直接流不提交任何偏移量。因此,如果您打开一个流n次而没有提交任何read消息的偏移量,那么您的使用者将从开始处开始。在</p> <p>如果在python中是相同的,则不需要启动n个流。启动一个流,Spark将处理分区分配给执行器/任务本身。在</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
文本导入时标题行中的特殊字符
8 回答
文本小部件:在没有输入时更新并在循环后保持空闲
6 回答
文本小部件tkin
2 回答
文本小部件tkinter中的标签更改或文本外观更改是否有撤消功能?
2 回答
文本小部件tkinter复制图像选项
4 回答
文本小部件上的Python Tkinter ttk滚动条未缩放
7 回答
文本小部件上的滚动条可能需要根据制表符ord显示前进行滚动
2 回答
文本小部件不显示lis中的内容
1 回答
文本小部件不显示Unicode字符
10 回答
文本小部件中写入的行间距
6 回答
文本小部件中的文本作为变量
3 回答
文本小部件中的滚动条仅显示在底部
2 回答
文本小部件中的选项卡键空间计数
5 回答
文本小部件作为Lis
1 回答
文本小部件在主框架中扩展列宽
4 回答
文本小部件未使用删除功能清除
8 回答
文本小部件滚动动画(Tkinter、Python)
4 回答
文本居中。格式正确吗?
9 回答
文本差分算法
5 回答
文本已知时音频文件中的单词索引
4 回答