解析Pyspark数据框架中的XML列

Question

我是PySpark的新手，正在尝试解决一个数据问题。我有一个pyspark DF，它是用从MS SQL Server提取的数据创建的，有两列：ID（整数）和XMLMsg（字符串）。第二列XMLMsg包含XML格式的数据。 目标是解析XMLMsg列，并使用从XML中提取的列在同一DF中创建其他列

以下是pyspark DF的示例结构：

ID  XMLMsg
101 ...<a><b>name1</b><c>loc1</c></a>...<d>dept1</d>...
102 ...<a><b>name2</b><c>loc2</c></a>...<d>dept2</d>...
103 ...<a><b>name3</b><c>loc3</c></a>...<d>dept3</d>...

预期产出为：

ID  XMLMsg                                              b       c       d
101 ...<a><b>name1</b><c>loc1</c></a>...<d>dept1</d>... name1   loc1    dept1
102 ...<a><b>name2</b><c>loc2</c></a>...<d>dept2</d>... name2   loc2    dept2
103 ...<a><b>name3</b><c>loc3</c></a>...<d>dept3</d>... name3   loc3    dept3

根据我在SO的搜索，我尝试了一些建议；但未能达到预期效果。因此，寻求一些帮助和指导。谢谢你抽出时间

Answer 1

考虑到我必须从一个巨大的XML文件中获取4个节点的文本，我最终使用Lambda和UDF解决了这个问题。由于XML文件已经在一列中，并且是pyspark数据框架的一部分，所以我不想以文件的形式编写并再次解析整个XML。我还希望避免使用XSD模式。 实际的xml有多个名称空间，还有一些具有特定条件的节点。 例如：

<ap:applicationproduct xmlns:xsi="http://www.example.com/2005/XMLSchema-instance" xmlns:ap="http://example.com/productinfo/1_6" xmlns:ct="http://example.com/commontypes/1_0" xmlns:dc="http://example.com/datacontent/1_0" xmlns:tp="http://aexample.com/prmvalue/1_0" ....." schemaVersion="..">
  <ap:ParameterInfo>
    <ap:Header>
      <ct:Version>1.0</ct:Version>
      <ct:Sender>ABC</ct:Sender>
      <ct:SenderVersion />
      <ct:SendTime>...</ct:SendTime>
    </ap:Header>
    <ap:ProductID>
      <ct:Model>
        <ct:Series>34AP</ct:Series>
        <ct:ModelNo>013780</ct:ModelNo>
     ..............
      ..............
   <ap:Object>
        <ap:Parameter schemaVersion="2.5" Code="DDA">
          <dc:Value>
            <tp:Blob>mbQAEAgBTgKQEBAX4KJJYABAIASL0AA==</tp:Blob>
          </dc:Value>
        </ap:Parameter>
.........
........

这里我需要从ct:ModelNo和tp:Blob中提取值

from pyspark.sql.types import *
from pyspark.sql.functions import udf
import xml.etree.ElementTree as ET
# List of namespaces to be used:
ns = {'ap' : 'http://example.com/productinfo/1_6', 
'ct':'http://example.com/commontypes/1_0', 
'dc':'http://example.com/datacontent/1_0', 
'tp':'http://aexample.com/prmvalue/1_0' 
    }

parsed_model = (lambda x:    ET.fromstring(x).find('ap:ParameterInfo/ap:ProductID/ct:Model/ct:ModelNo', ns).text)
udf_model = udf(parsed_model)
parsed_model_df = df.withColumn('ModelNo', udf_Model('XMLMsg'))

对于具有blob值的节点，也可以编写类似的函数，但节点的路径为： 'ap:ParameterInfo/ap:Object/ap:Parameter[@Code=“DDA”]/dc:Value/tp:Blob'

这对我很有效，我能够在pyspark DF中添加所需的值。不过，我们欢迎您提出任何建议，让它变得更好。谢谢大家!