"Pyspark行号数据框"

Question

我有一个数据框，有time、a、b、c、d、val列。 我想创建一个带有附加列的数据框，它将包含每个组中的行的行号，其中a、b、c、d是组键。

我尝试使用spark sql，通过定义一个窗口函数，特别是在sql中，它将如下所示：

select time, a,b,c,d,val, row_number() over(partition by a,b,c,d order by     time) as rn from table
group by a,b,c,d,val

我想在其lef的dataframe上执行此操作，而不使用sparksql。

谢谢

Answer 1

我不太了解python api，但我会尝试一下。你可以试试这样的方法：

from pyspark.sql import functions as F

df.withColumn("row_number", F.row_number().over(Window.partitionBy("a","b","c","d").orderBy("time"))).show()