需要将Spark转换为Python以将DF复制到Azure SQL

2024-09-30 18:29:39 发布

您现在位置:Python中文网/ 问答频道 /正文

我有下面的Scala代码,它在Spark环境中运行良好,但我们上周刚刚切换到Python。我需要将代码转换为在Python设置中运行。我该怎么做

import com.microsoft.azure.sqldb.spark.bulkcopy.BulkCopyMetadata
import com.microsoft.azure.sqldb.spark.config.Config
import com.microsoft.azure.sqldb.spark.connect._

val bulkCopyConfig = Config(Map(
  "url"               -> "mysqlserver.database.windows.net",
  "databaseName"      -> "MyDatabase",
  "user"              -> "username",
  "password"          -> "*********",
  "databaseName"      -> "MyDatabase",
  "dbTable"           -> "dbo.Clients",
  "bulkCopyBatchSize" -> "2500",
  "bulkCopyTableLock" -> "true",
  "bulkCopyTimeout"   -> "600"
))

df.bulkCopyToSqlDB(bulkCopyConfig)

代码来自这里

https://github.com/Azure/azure-sqldb-spark/blob/master/README.md

看起来代码本质上应该是相同的,但我确信某些格式会有所不同

我也在看下面的网站,但我没有看到任何超级有用的东西

http://www.nerdsgene.com/Article/BulkCopyToSQLDB

有什么想法吗?谢谢大家


Tags: 代码nameimportcomconfigazuredatabasemicrosoft