以Spark 2.0.0为例，如何在Spark 1.6.2中创建空数据帧？

Question

有没有办法用PySpark版本1.6.2而不是2.0.0来替换这行代码？问题是spark1.6.2中不存在{}。在

cfg = SparkConf().setAppName('s')
spark = SparkSession.builder.enableHiveSupport().config(conf=cfg).getOrCreate()
df = spark.createDataFrame([], schema=StructType([StructField('id', StringType()),
                                                         StructField('pk', StringType()),
                                                         StructField('le', StringType()),
                                                         StructField('or', StringType())]))

Answer 1

对于Spark的旧版本（早于2.0的版本），可以使用HiveContext而不是{}，请参阅相关的documentation。设置环境的小示例：

from pyspark import HiveContext

conf = SparkConf().setAppName('s')
sc = SparkContext(conf=conf)
sqlContext = HiveContext(sc)

在此之后，您可以使用sqlContext变量以与之前相同的方式创建数据帧。在