Pyspark RDD收集前163行

Question

有没有办法在不转换为df的情况下获得rdd的前163行？

我尝试过类似newrdd = rdd.take(163)的方法，但这会返回一个列表，并且rdd.collect()会返回整个rdd。

有办法吗？或者如果没有，是否有办法将列表转换为rdd？

Answer 1

它不是很有效，但是您可以zipWithIndex和filter：

rdd.zipWithIndex().filter(lambda vi: vi[1] < 163).keys()

实际上，简单地说take和parallelize更有意义：

sc.parallelize(rdd.take(163))