java无法使用log4j。spark中jar的属性
我的log4j。属性与uber/fat应用程序jar一起打包,下面是我的spark submit命令
spark-submit --files file:log4j.properties
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties
--class com.myproject.Application --deploy-mode cluster --master yarn s3://myappbucket/application.jar
log4j。属性在jar中打包并可用,但是当运行应用程序时,它们对执行者不可用,我面临以下错误,我在这里缺少什么,我如何获得log4j。执行器/工作节点可用的属性,是否有人可以帮助
我使用了类路径:log4j。属性在spark submit命令中,执行器似乎没有接受下面我的log4j配置更改
log4j.logger.com.myproject.Application=INFO,appfile
log4j.appender.appfile=org.apache.log4j.RollingFileAppender
log4j.appender.appfile.File=${base.log.dir}/app.log
log4j.appender.appfile.MaxFileSize=200MB
log4j.appender.appfile.MaxBackupIndex=10
什么都没有生效,所有的东西都被打印在stdout和stderr日志上,而不是创建应用程序。登录并登录应用程序。日志文件
# 1 楼答案
file:
意味着它在文件系统上而不是在jar中查找配置文件。您可能想试试classpath:log4j.properties