我需要使用pyspark在特定的分区范围内读取。我看到过各种帖子,比如this,当使用scala时,您可以执行以下操作:
val dataframe = sqlContext
.read
.parquet("file:///your/path/data=jDD/year=2015/month=10/day={5,6}/*")
val dataframe = sqlContext
.read
.parquet("file:///your/path/data=jDD/year=2015/month=10/day=[5-10]/*")
当使用pyspark时,第一个使用{}
方括号的方法是有效的,它读入特定的分区。但是,我无法使用[]
使range方法工作。你知道吗
我想知道pyspark的语法是不同的还是不受支持?你知道吗
目前没有回答
相关问题 更多 >
编程相关推荐