我有一个数据框df创建如下
schema = StructType([StructField('Id', StringType(), False),
StructField('Value', FloatType(), False)])
df = spark.createDataFrame([('a',5.0),('b',1.0),('c',-0.3)],schema)
看起来像
+---+-----+
| Id|Value|
+---+-----+
| a| 5.0|
| b| 1.0|
| c| -0.3|
+---+-----+
现在我要取“value”的绝对值,它应该返回
+---+-----+
| Id|Value|
+---+-----+
| a| 5.0|
| b| 1.0|
| c| 0.3|
+---+-----+
我试过了
df = df.withColumn('Value',math.fabs(df.Value))
但它抱怨TypeError:需要一个float。但是Value列是用FloatType()指定的。
关于如何正确地做这件事有什么线索吗?谢谢!
您可以使用本机
Spark
函数abs()
:相关问题 更多 >
编程相关推荐