读取Python中的SQL文件，通过DataRicks针对JDBC运行

Question

我有一个SQL语句，我想在DataRicks中使用JDBC驱动程序对oracle数据库运行该语句。如果SQL语句很短，例如，如果它只是从一个没有筛选器的表中选择所有数据，那么我可以成功地运行它。。（例如，从tbl中选择*）

但是，我需要执行一个非常长的SQL代码，因此我要创建一个字符串，通过从保存在DataRicks文件存储中的.SQL文件加载它来传递给JDBC驱动程序

运行此命令时，我看到一个错误，在调查/打印文本文件的结果时，我发现它会删除一些SQL语句，并在恢复SQL语句之前提供一条消息：

*** WARNING: skipped 62431 bytes of output ***

实际上，它在打印字符串中看起来是这样的：

    sum (
        case
            when dpr.pricing_Type in ('P', 'C') then
                nvl (
                    decode (dpr.price / 100, null, 0,
                        decode (apr.price, 'N', 

*** WARNING: skipped 62431 bytes of output ***

        then
            dpr.percentage_applied
        else 
            0
        end
    ) as price_percent,

请注意，警告之前的代码用于与警告消息之后的代码完全不同的字段

对于这一问题的原因以及如何解决，是否有任何建议

下面是我运行的完整脚本，仅供参考，还请注意，我使用的.sql文件只有113kb，我通过DataRicks的运行时7.4使用python 3.7.5：

%python

# setup jdbc credentials (from key vault) and url
jdbcUsername = dbutils.secrets.get(scope="USER", key="ID")
jdbcPassword = dbutils.secrets.get(scope="PWD", key="PWD")
jdbcUrl = "jdbc:oracle:thin:@<REDACTED>"
jdbcDrv = "oracle.jdbc.driver.OracleDriver"

# Table Name
OutputTbl = "db.tblCore"

# Drop table. 
spark.sql("DROP TABLE IF EXISTS " + OutputTbl  )

# parallelism
lbound = 20160101
ubound = 20210115
fsize = "1000"
colname = "date_value_yyyymmdd"
numParts = "10"

# Get sql stetment from file.
with open('/dbfs/FileStore/shared_uploads/<REDACTED>/SQL', 'r') as f:
    sql = file.read()

# Create DF and write output to a table. 
spdf = (spark.read.format("jdbc")
  .option("driver", jdbcDrv)
  .option("url", jdbcUrl)
  .option("user", jdbcUsername)
  .option("password", jdbcPassword)
  .option("dbtable", sql)
  .option("numPartitions", numParts)
  .option("fetchsize", fsize)
  .option("partitionColumn", colname) 
  .option("lowerBound", lbound)
  .option("upperBound", ubound)
  .load())

spdf.write.mode("overwrite").saveAsTable(OutputTbl)

Answer 1

这不是一个错误，只是一个警告，说明输出被截断以防止浏览器过载等。您可以查看驱动程序&；执行者通过集群的Spark UI登录-应该有更多信息

我还建议首先尝试直接针对Oracle执行该语句，只是为了检查它是否有效