Java Spark Api GroupBy+填充空字段
大家好,我无法解决转型的问题
数据集示例:
+--------------------------------------+
| Col1 Col2 Col3 Col2 Col3 |
+--------------------------------------+
| Value 1 Value 2 123 |
| Value 1 Value 2 124 |
| Value 1 Value 2 125 |
+--------------------------------------+
所需输出:
+--------------------------------------------------------+
|Col1 Col2 Col3 Col2 Col3 |
+--------------------------------------------------------+
| Value 1 Value 2 123 124 125 |
+--------------------------------------------------------+
我在jupiter上用Apache toree做的,看起来像:
val z = spark.read.parquet("/*/*.parquet")
val d = z.groupBy("Col1","Col2").agg(first(col("Col3"),true).as("Col3"),first(col("Col4"),true).as("Col4"),first(col("Col5"),true).as("Col5")))
如何使用Java Spark Api实现这一点
# 1 楼答案
找到一种用Java实现的方法