如何将字符串变量传递给数据框。在哪里（）条件

Question

我不确定在pyspark中这是否可能。我认为这应该是我在这里没有获胜。在

要求： 带来FNAME和LNAME为null或0的任何记录

预期结果： 结果是前两行。在

df = sqlContext.read.format('com.databricks.spark.csv').options(header='true').load(fileName)
df.show()

+------+-------+------+
| FNAME|  LNAME|  CITY|
+------+-------+------+
|     0|   null|    NY|
|  null|      0|  null|
|   Joe|   null|    LA|
|  null|   Deon|    SA|
| Steve|   Mark|  null|
+------+-------+------+

colCondition = []
for col in df.columns:
    condition = '(df.'+col+'.isNull() | df.'+col+' == 0)'
    colCondition.append(condition)

dfWhereConditon = ' & '.join(colList)

这就是我想要达到的目标：

^{pr2}$

这不起作用，因为dfWhereCondition在where条件中被视为字符串。我该如何解决这个问题，或者有更好的方法来实现这一点。在

谢谢

Answer 1

如果要使用字符串条件，可以使用SQL筛选器子句：

condition = ' AND '.join(['('+ col + ' IS NULL OR ' + col + ' = 0)' for col in df.columns])
df.filter(condition)