运行Spark时遇到“WARN ProcfsMetricsGetter:尝试计算页面大小时异常”错误

Question

我安装了spark，当尝试运行它时，我发现错误： WARN ProcfsMetricsGetter:尝试计算页面大小时发生异常，因为ProcessTree度量的结果报告已停止

有人能帮我吗

Answer 1

我收到了同样的消息，在Windows10上运行Spark 3.0.1，使用Scala 2.12.10。这实际上不是一个错误，因为它结束了程序的执行。这是一个与Linux机器上的/proc文件系统相关的警告

如果您也在Windows计算机上，答案可能是，引用Wing-Yew-Poon@Apache：“出现警告的原因是命令“getconf-PAGESIZE”在Windows上运行，并且它不是有效的命令，因此捕获了异常。”（来自Spark jira问题here）

如果您的程序在抛出此异常消息后立即失败，则是由于其他原因。在我的例子中，Spark在发出警告后立即发出以下消息：

20/11/13 12:41:51 ERROR MicroBatchExecution: Query [id = 32320bc7-d7ba-49b4-8a56-1166a4f2d6db, runId = d7cc93c2-41ef-4765-aecd-9cd453c25905] terminated with error
org.apache.spark.SparkException: Job 1 cancelled because SparkContext was shut down

通过将spark.executor.processTreeMetrics.enabled设置为false，可以隐藏此警告。再次引用潘宗光先生的话：“您看到这个警告只是一个小错误，但可以放心地忽略它。”

Answer 2

在Windows上运行时，我收到了相同的错误。我决定将python可执行文件添加到环境变量中：

PYSPARK_PYTHON = C:\wherever\python.exe

下面是我需要添加的三个变量

虽然这并没有消除警告消息，但它允许程序运行到完成，而不会在警告后冻结或失败

Answer 3

我也遇到了同样的问题，因为python路径没有添加到系统环境中。我在环境中添加了这个，现在它工作得非常好

正在添加值为的PYTHONPATH环境变量：

%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-<version>-src.zip;%PYTHONPATH%

帮助解决了这个问题。只需检查一下spark/python/lib folder中有什么py4j版本