dstream spark streaming n中的切片函数

2024-10-04 11:23:37 发布

您现在位置:Python中文网/ 问答频道 /正文

Spark streaming提供了滑动窗口函数来获取最近k的rdd,但是我想尝试使用slice函数来获取最后k的rdd,如果我想在当前时间之前的范围时间内查询rdd。在

delta = timedelta(seconds=30)
datates = datamap.slice(datetime.now()-delta,datetime.now())

我在执行代码时会遇到这个错误

^{pr2}$

如何解决这个错误?谢谢你


Tags: 函数代码datetime错误时间slicenowspark
1条回答
网友
1楼 · 发布于 2024-10-04 11:23:37

根据错误信息

"Adding new inputs, transformations, and output operations after stopping a context is not supported"

看起来像ssc.停止()而不是ssc.等待终止()已被使用。 请在程序中提供有关Spark流上下文(ssc)设置的更多信息。在

相关问题 更多 >