在pysp中使用给定的列名和值将列拆分为多个列

Question

我有一个这样的df

+-----+-------+------------+---+---+----+------+--------------------+
|CHROM|    POS|          ID|REF|ALT|QUAL|FILTER|                INFO|
+-----+-------+------------+---+---+----+------+--------------------+
|    1|1014143| rs786201005|  C|  T|   .|     .|RS=786201005;RSPO...|
|    1|1014228|      rs1921|  G|A,C|   .|     .|RS=1921;RSPOS=101...|
|    1|1014316| rs672601345|  C| CG|   .|     .|RS=672601345;RSPO...|
|    1|1014359| rs672601312|  G|  T|   .|     .|RS=672601312;RSPO...|
|    1|1020183| rs539283387|  G|  C|   .|     .|RS=539283387;RSPO...|
|    1|1020216| rs764659938|  C|  G|   .|     .|RS=764659938;RSPO...|
|    1|1020217| rs115173026|  G|  T|   .|     .|RS=115173026;RSPO...|
|    1|1020221|rs1057523287|  C|  T|   .|     .|RS=1057523287;RSP...|
|    1|1020239| rs201073369|  G|A,C|   .|     .|RS=201073369;RSPO...|
|    1|1022188| rs115704555|  A|  G|   .|     .|RS=115704555;RSPO...|
+-----+-------+------------+---+---+----+------+--------------------+

“我的信息”列有多个以“；”分隔的值，其格式为“column_name=value”。我希望我的df info列在多个列中根据各自的值进行分隔，如下所示

^{pr2}$

info列可以有多个变量值。RS值可能不在其他行中，其他值也可能出现同样的情况。在这种情况下，我希望RS值为'null'。我在地图上驾驶这个测向仪。在

在一个建议后，我编辑了我的代码，得到了下面的结果

+-----+-------+------------+---+---+----+------+--------------------+-----+
|CHROM|    POS|          ID|REF|ALT|QUAL|FILTER|                INFO|  kvs|
+-----+-------+------------+---+---+----+------+--------------------+-----+
|    1|1014143| rs786201005|  C|  T|   .|     .|RS=786201005;RSPO...|Map()|
|    1|1014228|      rs1921|  G|A,C|   .|     .|RS=1921;RSPOS=101...|Map()|
|    1|1014316| rs672601345|  C| CG|   .|     .|RS=672601345;RSPO...|Map()|
|    1|1014359| rs672601312|  G|  T|   .|     .|RS=672601312;RSPO...|Map()|
|    1|1020183| rs539283387|  G|  C|   .|     .|RS=539283387;RSPO...|Map()|
|    1|1020216| rs764659938|  C|  G|   .|     .|RS=764659938;RSPO...|Map()|
|    1|1020217| rs115173026|  G|  T|   .|     .|RS=115173026;RSPO...|Map()|
|    1|1020221|rs1057523287|  C|  T|   .|     .|RS=1057523287;RSP...|Map()|
|    1|1020239| rs201073369|  G|A,C|   .|     .|RS=201073369;RSPO...|Map()|
|    1|1022188| rs115704555|  A|  G|   .|     .|RS=115704555;RSPO...|Map()|
+-----+-------+------------+---+---+----+------+--------------------+-----+

我的计划是

root
|-- CHROM: string (nullable = true)
|-- POS: string (nullable = true)
|-- ID: string (nullable = true)
|-- REF: string (nullable = true)
|-- ALT: string (nullable = true)
|-- QUAL: string (nullable = true)
|-- FILTER: string (nullable = true)
|-- INFO: string (nullable = true)
|-- kvs: map (nullable = true)
|    |-- key: string
|    |-- value: string (valueContainsNull = true)

我可以将这些映射值进一步拆分为列吗？在

任何帮助都将不胜感激。在

Answer 1

{调整^ a1}的答案：

from pyspark.sql.functions import col, udf, explode

@udf("map<string,string>")
def to_map(s):
    if s:
        kvs = [x.split("=") for x in s.split(";")]
        return {kv[0]: kv[1] for kv in kvs if len(kvs) == 2}

with_map = df.withColumn("kvs", to_map("INFO"))

keys = (with_map
  .select(explode("kvs"))
  .select("key")
  .distinct()
  .rdd.flatMap(lambda x: x)
  .collect())

with_map.select(*["*"] + [col("kvs").getItem(k).alias(k) for k in keys])

对于旧版本：

^{pr2}$