在pysp中仅从Spark DF中选择数值/字符串列名称

Question

我在pyspark（2.1.0）中有一个SparkDataFrame，我希望只获取数值列或字符串列的名称。

例如，这是我的DF的模式：

root
 |-- Gender: string (nullable = true)
 |-- SeniorCitizen: string (nullable = true)
 |-- MonthlyCharges: double (nullable = true)
 |-- TotalCharges: double (nullable = true)
 |-- Churn: string (nullable = true)

这就是我需要的：

num_cols = [MonthlyCharges, TotalCharges]
str_cols = [Gender, SeniorCitizen, Churn]

我怎么能做到？谢谢您！

Answer 1

dtypes是元组列表（columnNane，type），您可以使用简单的过滤器

 columnList = [item[0] for item in df.dtypes if item[1].startswith('string')]