擅长:python、mysql、java
<p>如果您使用的是Spark 2.0+,则可以直接编写csv,请参阅<a href="https://stackoverflow.com/questions/31385363/how-to-export-a-table-dataframe-in-pyspark-to-csv">How to export a table dataframe in PySpark to csv?</a></p>
<pre><code>df.repartition(1).write.csv(row['TargetPath'])
</code></pre>
<p>在数据帧上进行选择,然后进行写入可能会解决您的问题</p>
<pre><code>df.repartition(1).select('CASE_ID','PARNT_CASE_ID'...'IM_INSERT_DT').write.format('com.databricks.spark.csv').mode('overwrite').save(row['TargetPath'], quote='',sep='|',header='True',nullValue=None)
</code></pre>