使用Spark读取文本文件数据，并使用逗号python拆分数据

Question

我有以下格式的数据。在

abc, x1, x2, x3  
def, x1, x3, x4,x8,x9   
ghi, x7, x10, x11  

我想要的输出是

^{pr2}$

Answer 1

如果数据以文件形式出现，可以这样实现：

1. 以CSV格式读取文件
2. 添加“单调递增”的索引列
3. 选择第一列，然后选择所有剩余列作为数组。在

在Scala上可以这样实现：

val df = spark.read.option("header", "false").csv("non-csv.txt")
val remainingColumns = df.columns.tail
df.withColumn("id", monotonically_increasing_id).
  select(
    col("id"),
    col(df.columns(0)),
    array(remainingColumns.head, remainingColumns.tail: _*)
  ).show(false)

输出：

^{pr2}$