我这里有一行pyspark脚本
df_output = df.select("*",$checkcol)
df_output.show()
通过对变量进行硬编码, 但当参数化时会出现一个错误
pyspark.sql.utils.AnalysisException: 'cannot resolve \'`"*", F.....
其中checkcol
是一个值如下的变量
复选框-
F.when(F.col("colA")=='null',"Yes").otherwise(date_validation_udf("colA")).alias("colA_DateCheck"),
F.when(F.col("colB")=='null',"Yes").otherwise(date_validation_udf("colB")).alias("colB_DateCheck"),F.when(F.col("colC")=='null',"Yes").otherwise(date_validation_udf("colC")).alias("colC_DateCheck"),
F.when(F.col("colD")=='null',"Yes").otherwise(num_check_udf("colD")).alias("colD_NumCheck"),F.when(F.col("colE")=='null',"Yes").otherwise(num_check_udf("colE")).alias("colE_NumCheck"),
F.when(F.col("colF")=='null',"Yes").otherwise(num_check_udf("colF")).alias("colF_NumCheck"),F.when(F.col("colG")=='null',"Yes").otherwise(num_check_udf("colG")).alias("colG_NumCheck")
试试这个:
编辑:
要将这些语句作为一个要选择的变量传递,请尝试以下操作:
相关问题 更多 >
编程相关推荐