无法在AWS EMR上使用PySpark Dataframe保存CSV文件

Question

我想用gzip压缩保存一个CSV文件。代码成功运行，但它正在静默地失败-即，我在提供的路径上看不到任何文件。在

我试着读取应该成功保存的文件，但是在运行命令file -i <path_to_the_file>之后，我得到的结果是“找不到这样的文件”。在

我写csv文件的代码是：

>>> df
DataFrame[id: int, name: string, alignment: string, gender: string, eyecolor: string, race: string, haircolor: string, publisher: string, skincolor: string, height: int, weight: int, _paseena_row_number_: bigint, _paseena_timestamp_: timestamp, _paseena_commit_id_: string]
>>> df.write.csv('check_csv_post_so.csv')
>>>

现在，当我检查时，没有文件。在

我会使用一些未知的dfs方法，但问题是，我在其他机器上使用过spark，没有发现这样的问题。在

我希望文件存在，或者代码失败并显示错误。在

Answer 1

我想文件是存储在HDFS上的。尝试用file://或s3://保存文件。或者使用hdfs dfs -ls查看文件是否存在。在