2024-09-26 18:20:31 发布
网友
我有一本下列结构的词典
dictio = {"name":["name1","name2"], "tAcc":[0.8,0.8], "eAcc":[0.8,0.8]}
我要将此词典转换为spark数据帧:
"name" "tAcc" "eAcc" ___________________________ "name1" 0.8 0.8 "name2" 0.8 0.8
熊猫的功能 这项工作由pd.DataFrame.from\ dict(data)完成。 是否存在此函数的spark版本
在这里没有理由使用除DataFrame之外的任何东西(其中spark是SparkSession实例):
DataFrame
spark
SparkSession
spark.createDataFrame(pd.DataFrame.from_dict(data))
对于任何实际应用程序来说,内存中的字典都将是一个瓶颈,除了最简单的实际应用程序之外,其他应用程序都应该放弃它
在这里没有理由使用除
DataFrame
之外的任何东西(其中spark
是SparkSession
实例):对于任何实际应用程序来说,内存中的字典都将是一个瓶颈,除了最简单的实际应用程序之外,其他应用程序都应该放弃它
相关问题 更多 >
编程相关推荐