我有45个pyspark脚本要运行,每个脚本中都存储了一个密码。我想使用一个放在HDFS中的文件,在那里我可以存储密码,并将其用于所有脚本。你知道吗
我不会更改密码,而是在文件中执行(请参阅下面的脚本)。你知道吗
from pyspark.context import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
from pyspark.sql.types import *
sc = SparkContext()
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.tungsten.enabled", "false")
CSKU_query = """ (select * from CSKU) a """
CSKU = sqlContext.read.format("jdbc").options(url="jdbc:sap://myip:port",currentschema="SAPABAP1",user="username",password="mypassword",dbtable=CSKU_query).load()
CSKU.write.format("parquet").save("/user/admin/sqoop/base/sap/CSKU/")
它应该从我可以引用的文件中获取密码,而不是在每个脚本中指定密码。你知道吗
提前谢谢
目前没有回答
相关问题 更多 >
编程相关推荐