JSON列表转换

Question

我的JSON值（元组）列表如下所示：

testJson = [('{"drivernumber":1, "speed" : ["30.5", "40", "50", "25.25"]}',),
            ('{"drivernumber":2, "speed" : ["25.25", "10.11", "11", "50"]}',),
            ('{"drivernumber":3, "speed" : ["40", "50", "80", "42"]}',)
           ]

我创建了以下数据结构：

from pyspark.sql.types import StructType, StructField, IntegerType, ArrayType, StringType
readSchema = StructType([
                   StructField("drivernumber", IntegerType(), True), 
                   StructField("speed", StringType(FloatType(), True), True)])

然后创建了一个数据帧：

df = (spark.read.schema(readSchema).json(sc.parallelize(testJson)))
display(df)

最终，我需要得到下面的输出，但目前，我的DF（在上面的步骤之后）只有空值，我不知道为什么。任何线索或提示都将不胜感激。谢谢：）

speed  drivercount
50          3
40          2
25.25       2
11          1
....        ....

Answer 1

您不必为它定义模式，只需使用

df = spark.read.json(sc.parallelize(testJson))