我有一个具有单行和多列的数据帧。我想把它转换成多行。 我在stackoverflow上发现了一个类似的问题
这个问题回答了如何在scala中实现,但我想在pyspark中实现这一点。我试图在pyspark中复制代码,但没能做到
我无法将以下scala代码转换为python:
import org.apache.spark.sql.Column
var ColumnsAndValues: Array[Column] = df.columns.flatMap { c => {Array(lit(c), col(c))}}
val df2 = df1.withColumn("myMap", map(ColumnsAndValues: _*))
在Pyspark中,可以使用
create_map
函数创建映射列。以及使用itertools.chain
进行列表理解,以获得scala flatMap的等价物:相关问题 更多 >
编程相关推荐