火花d的内插等效

Question

我有一个带有特定时间序列列的Spark df。这些列中有一些空值。在pandas中，我可以使用“interpolate”方法很容易地对它们进行插值，但是我找不到相同的Spark df等价物。 这个问题有两个部分- 1） 如何在spark df中插值？ 2） 如何仅对某些列（而不是所有列）使用该函数

下面是我如何在pnadas中做到这一点。有没有办法用Spark df实现这一点

熊猫df-

df.loc[:,'col2':'col5']=df.loc[:,'col2':'col5'].interpolate(axis=1)