Azure Databricks将JSON数据写入Parquet文件引发错误:TypeError:无法推断typ的架构

2024-09-29 20:19:08 发布

您现在位置:Python中文网/ 问答频道 /正文

我正在Microsoft Azure Databrics笔记本中使用Python从Web服务下载以下数据:

{
    "Customers" : 
   [
        {
            "CustomID" : "106219-891457",
            "CustomerDateTime" : "0000105910",
            "purchasedItems" : 
            [
                {
                  "itemId" : "tBNU5awl2Yac",
                  "state" : "OBSOLETE",
                  "materialNumber" : "0000werqw4603100",
                  "materialName" : "Licasdr",
                  "quantity" : 1,
                  "orderType" : "STANDARD",
                  "Ingredients" : 
                  [
                    {
                        "ingredientId" : "146a00dd036__7e06",
                        "ingedrientDesc" : "bla"
                    },
                    {
                        "ingredientId" : "146a234d036__7e06",
                        "ingedrientDesc" : "bla2"
                    }
                  ],
                  "lastModificationDate" : "2014-09-30T10:13:46.8Z"
                }
            ]
        }
    ]
}

这个工作很好,我得到的结果显示在我的笔记本上面。在

我需要将这些数据转换/写入拼花板文件。我试着用下面的一行来做这个

^{pr2}$

但在队伍里

df = spark.createDataFrame(data)

我收到以下错误消息:

TypeError: Can not infer schema for type: type <'str'>

这是怎么回事?我做错什么了?在


Tags: 数据webtype笔记本azuremicrosoftcustomersitemid

热门问题