使用Spark conn通过Azure Databricks向Azure Cosmos DB追加插入

2024-09-28 17:25:45 发布

您现在位置:Python中文网/ 问答频道 /正文

我在Azure上有一个cosmosDB帐户。我已经使用Spark连接器“azure-cosmsdb-Spark_2.4.0_2.11-1.3.4”通过数据块插入了10行主键为“unique_ID”-优步.jar““

CosmoKey是唯一的,设置了唯一的CosmoKey。我遇到了很多问题。在

要将下一组具有相同唯一的_id但字段值不同的记录集upsert,我无法成功地这样做。我使用的查询:

connectionConfig = {
"Endpoint" : "https://.documents.azure.com:443/",
"Masterkey" : "",
"Database" : "",
"preferredRegions" : "East US",
"Collection": "",
"Upsert" : "true"
}

data.write.format("com.microsoft.azure.cosmosdb.spark").options(**connectionConfig).save()

这失败了!在

Error: Writing-to-a-non-empty-table.

因此,我使用下一个查询:

^{pr2}$

这也失败了!在

Error: Unique index constraint violation.

将模式“append”替换为“overwrite”会给出完全相同的错误消息。在

如何更新我的记录?在

我不明白的是,不应该至少覆盖工作,并用新记录覆盖整个数据库?在


Tags: 数据comid记录帐户errorazurespark