如何使用python从spark获取已处理和未处理数据的数量

2024-09-24 22:30:20 发布

您现在位置:Python中文网/ 问答频道 /正文

我想使用python从apachespark获取已处理和未处理数据的数量。我参考了不同的网上资料,但无法理解解决方案。你知道吗

引用的解决方案链接:- http://apache-spark-developers-list.1001551.n3.nabble.com/Registering-custom-metrics-td9030.html#a9968

How to get the total number of records processed by Spark Streaming?

这就是我的输出。我想从中获取已处理和未处理的数据。enter image description here


Tags: 数据comhttp数量链接apachecustom解决方案