擅长:python、mysql、java
<p>我发现它不需要对S3位置做任何特殊的操作。我只需要将增量格式的文件写入S3中不存在的文件夹。如果它已经存在并且里面有对象,我会得到与OP相同的错误</p>
<p>以下是我的spark会话创建代码:</p>
<pre><code>spark = glueContext.spark_session.builder \
.config("spark.sql.extensions", "io.delta.sql.DeltaSparkSessionExtension") \
.config("spark.sql.catalog.spark_catalog", "org.apache.spark.sql.delta.catalog.DeltaCatalog") \
.getOrCreate()
</code></pre>