来自RDD的Pyspark过滤器空线不工作

Question

我对spark和pyspark比较陌生

final_plogfiles = plogfiles.filter(lambda x: len(x)>0)

我写这段代码是为了从RDDPlogFiles中过滤出空行。它没有删除空行。在

我也试过了

^{pr2}$

但是如果我使用plogfiles.filter(lambda x: x.split())，所有行中的尾随空格和前导空格都将被修剪

我只想过滤掉空行。我想知道我哪里做错了。在

Answer 1

plogfiles是RDD吗？ 以下对我来说很好：

lines = sc.textFile(input_file)
non_empty_lines = lines.filter(lambda x: len(x)>0 )