Pyspark按范围读取特定分区

2024-09-29 17:44:19 发布

您现在位置:Python中文网/ 问答频道 /正文

我需要使用pyspark在特定的分区范围内读取。我看到过各种帖子,比如this,当使用scala时,您可以执行以下操作:

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day={5,6}/*")

val dataframe = sqlContext
  .read
  .parquet("file:///your/path/data=jDD/year=2015/month=10/day=[5-10]/*")

当使用pyspark时,第一个使用{}方括号的方法是有效的,它读入特定的分区。但是,我无法使用[]使range方法工作。你知道吗

我想知道pyspark的语法是不同的还是不受支持?你知道吗


Tags: pathdataframereadyourdatavalyearpyspark

热门问题