Pyspark为除一列以外的所有数据帧供电

Question

我有一个像这样的数据帧：

Id   a1  a2  a3   
+--+---+---+---+
1  |5  |45 |4
2  |2  |12 |79
3  |7  |8  |56

我想创建一个新的dataframe，除了id column之外，它将为所有列提供m值。到目前为止，我的情况是：

  dfCluster = U.select(* ( ( pow(col(c),m )).alias(c) for c in U.columns))

但此代码为所有列提供了电源，包括“Id”列。我也试过这个代码：

dfCluster = U.select(* ( ( pow(col(c),m )).alias(c) for c in U.columns if c not in 'ColumnIndex'))

但是在新的数据帧中，我根本没有Id列，但是我需要它。你知道如何给除“Id”列以外的所有表加电吗？你知道吗

Answer 1

只需使用一个简单的生成器表达式，将Id放在外面：

U.select('Id', *(pow(U[col], m).alias(col) for col in U.columns if col != 'Id'))