pyspark如何删除已经存在的本地目录

Question

如果本地目录已经存在，我想删除它。以下是我的代码：

import sys
import os
from pyspark import SparkContext
from pyspark import SparkConf

conf=SparkConf().setAppName('pyspark')
sc=SparkContext(conf=conf)

data=sc.textFile('file:///home/cloudera/Downloads/SAN_SALES_EXTRACT_TRANS_LEVEL_D0906.txt')
datamap=data.map(lambda x: ((str(x.split(',')[1]).strip(),int(x.split(",")[0])),float(x.split(",")[10])))
datagrouped=datamap.reduceByKey(lambda x,y: x+y)
if (os.path.exists("file:///home/cloudera/Downloads/store_perday_rev")):
        os.remove("file:///home/cloudera/Downloads/store_perday_rev")
else:
        datagrouped.sortByKey().saveAsTextFile("file:///home/cloudera/Downloads/store_perday_rev")
#for i in datagrouped.sortByKey().take(20):
#       print(i)

它不会删除目录。我做错什么了？在

Answer 1

你可以试试这些选项。在

import os
os.rmdir("C:/test/delete/pydelete")

我可以移除文件夹。如果你有这个文件夹中的数据，然后你需要打电话。在

shutil.rmtree()