有 Java 编程相关的问题?

你可以在下面搜索框中键入要查询的问题!

java无法使用log4j。spark中jar的属性

我的log4j。属性与uber/fat应用程序jar一起打包,下面是我的spark submit命令

spark-submit --files file:log4j.properties 
--conf spark.driver.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties  
--conf spark.executor.extraJavaOptions=-Dlog4j.configuration=classpath:log4j.properties  
--class com.myproject.Application --deploy-mode cluster --master yarn s3://myappbucket/application.jar

log4j。属性在jar中打包并可用,但是当运行应用程序时,它们对执行者不可用,我面临以下错误,我在这里缺少什么,我如何获得log4j。执行器/工作节点可用的属性,是否有人可以帮助

我使用了类路径:log4j。属性在spark submit命令中,执行器似乎没有接受下面我的log4j配置更改

log4j.logger.com.myproject.Application=INFO,appfile 
log4j.appender.appfile=org.apache.log4j.RollingFileAppender
log4j.appender.appfile.File=${base.log.dir}/app.log
log4j.appender.appfile.MaxFileSize=200MB
log4j.appender.appfile.MaxBackupIndex=10 

什么都没有生效,所有的东西都被打印在stdout和stderr日志上,而不是创建应用程序。登录并登录应用程序。日志文件


共 (1) 个答案

  1. # 1 楼答案

    file:意味着它在文件系统上而不是在jar中查找配置文件。您可能想试试classpath:log4j.properties