PyCharm“警告NativeCodeLoader:无法为您的平台加载nativehadoop库…使用内置的Java类”中出错

2024-09-27 00:22:28 发布

您现在位置:Python中文网/ 问答频道 /正文

[PyCharm/PySpark错误] 在PyCharm中获取以下错误: 警告NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类 使用Spark的默认log4j配置文件:org/apache/Spark/log4j defaults.properties 我正在Windows PC上使用PyCharm

代码:

from pyspark import SparkConf, SparkContext
sc = SparkContext(master="local", appName="Spark Demo")
print(sc.textFile("C:\\Spark Demo.txt").first())

结果

20/04/29 00:22:50 WARN NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
Spark Demo

Tags: orghadoopdemoapache错误propertiesjavapycharm

热门问题