如何通过pysp以gzip格式保存spark RDD

2024-05-19 15:39:05 发布

您现在位置:Python中文网/ 问答频道 /正文

所以我用下面的代码将一个spark RDD保存到一个S3桶中。有没有压缩(gz格式)并保存的方法,而不是将其保存为文本文件。

help_data.repartition(5).saveAsTextFile("s3://help-test/logs/help")

Tags: 方法代码testdatas3格式helpspark