Python运行spark的几个问题

Question

两个问题：

1. 如何在spark模块中运行python3？我运行/bin/.pyspark，它自动运行python2.7。如何运行Python3？在
2. 在我运行pyspark之后，它会弹出如下警告：16/12/29 17:33:37 WARN NativeCodeLoader:无法为您的平台加载本机hadoop库。。。在适用的情况下使用内置java类 是不是说我下载了错误的spark平台？在

我在用MacProBook。谢谢。在

Answer 1

按照以下步骤操作：

1次：

PYSPARK_PYTHON=python3 ./bin/pyspark

每次：

^{pr2}$

在文件末尾添加这两行并保存文件。在

export PYSPARK_PYTHON=/usr/bin/python3
export PYSPARK_DRIVER_PYTHON=python3

从文件退出后，获取.bashrc文件以反映更改。在

>>>source .bashrc

现在当你启动spark时，它将使用Python3。在

---

第二个错误请阅读。它与32位vs 64位源代码编译有关：

Hadoop "Unable to load native-hadoop library for your platform" warning

Answer 2

将此添加到您的~/.bashrc中 `在

export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/"

export HADOOP_COMMON_LIB_NATIVE_DIR="/usr/local/hadoop/lib/native/"

或者： export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/usr/local/hadoop/lib/native"