使用pyspark脚本将密码存储在文件中

2024-06-26 13:24:59 发布

您现在位置:Python中文网/ 问答频道 /正文

我有45个pyspark脚本要运行,每个脚本中都存储了一个密码。我想使用一个放在HDFS中的文件,在那里我可以存储密码,并将其用于所有脚本。你知道吗

我不会更改密码,而是在文件中执行(请参阅下面的脚本)。你知道吗

from pyspark.context import SparkContext
from pyspark.sql import HiveContext
from pyspark.sql.functions import *
from pyspark.sql.types import *

sc = SparkContext()
sqlContext = HiveContext(sc)
sqlContext.setConf("spark.sql.tungsten.enabled", "false")

CSKU_query = """ (select * from CSKU) a """

CSKU = sqlContext.read.format("jdbc").options(url="jdbc:sap://myip:port",currentschema="SAPABAP1",user="username",password="mypassword",dbtable=CSKU_query).load()

CSKU.write.format("parquet").save("/user/admin/sqoop/base/sap/CSKU/")

它应该从我可以引用的文件中获取密码,而不是在每个脚本中指定密码。你知道吗

提前谢谢


Tags: 文件fromimport脚本format密码sqlquery