如何使用Spark和python在hdp2.2中更新python2.7

Question

我试图在hdp2.2中使用Ipython和Spark，但似乎只有python2.7才支持Ipython。 我已经安装了Spark并进行了很好的测试，但是在使用yum命令安装ipython之后，python的版本是一个问题。在

[root@sandbox spark12]# ipython
Python 2.6.6 (r266:84292, Jan 22 2014, 09:42:36)
Type "copyright", "credits" or "license" for more information.

IPython 0.13.2 -- An enhanced Interactive Python.
?         -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help      -> Python's own help system.
object?   -> Details about 'object', use 'object??' for extra details.

Ipython是单独运行的，但当我尝试将其与pyspark一起使用时：

^{pr2}$

我想知道如何将Python2.6更新到2.7。系统似乎阻止我卸载Python2.6。我觉得Python与hadoop系统是集成的，很难单独更新。在

Answer 1

1. Python没有与Hadoop系统集成。在
2. Python2.6.6是Centos 6.5/RHEL6的默认版本。在
3. 在任何情况下都不应尝试卸载/更新默认版本，因为它具有系统依赖性。在
4. 您可以做的是使用install a newer版本的python作为现有版本的替代。 并使用新版本启动IPython。在

Answer 2

我知道有点晚了，但我在使用CentOS时也遇到了类似的问题。在

通过下载Python发行版的python2.7版本，我能够相对容易地解决这个问题

wget http://repo.continuum.io/archive/Anaconda2-2.5.0-Linux-x86_64.sh

下载后

bash Anaconda2-2.5.0-Linux-x86_64.sh

按照说明-选择一个安装Python的位置并将此位置添加到您的路径中。在

完成后，键入

source ~/.bashrc

然后你就可以用Pyspark运行IPython了

[user@quickstart ~]$ IPYTHON_OPTS="notebook" $SPARK_HOME/bin/pyspark [I 09:43:06.241 NotebookApp] Serving notebooks from local directory: /home/user [I 09:43:06.241 NotebookApp] 0 active kernels [I 09:43:06.241 NotebookApp] The Jupyter Notebook is running at: http://localhost:8888/