2024-09-29 01:19:04 发布
网友
我们在hadoopcloudera集群上下载了一个旧版本的Anaconda,并希望将其升级到最新版本的verison。在旧版本中,默认情况下,我们没有找到数据科学用例所需的tensorflow、geopandas、noaa_sdk、thrift_sasl、gensim和其他一些软件包。我们已经在集群中手动安装了它们。在
我的问题是,如果我升级Anaconda,是否可以使用手动安装的软件包?还是我要重新安装?在
我假设你用Cloudera包在hadoop节点上安装了Anaconda?在
https://www.cloudera.com/downloads/partner/anaconda.html
如果是,那么你是正确的,你必须重新安装你在hadoop节点上安装的所有东西。在
Cloudera将包裹看作“immutable”——它们的状态不应该改变。所以,当你在包裹上安装东西,或者以任何方式改变它们时,期望你的改变可能会丢失。(例如,重新部署包裹,因为它会再次解开包裹)同样的情况也适用于升级-新的Python版本只提供了一个新的tar文件(这就是包裹的基本特征,带有一些元数据信息)。在
如果您对管理Python环境感兴趣,请查看conda虚拟环境-https://conda.io/docs/user-guide/overview.html
conda
,或conda-pack特别是作为纱上火花的例子-https://conda.github.io/conda-pack/spark.html
conda-pack
我们目前正在将Spark的所有工作迁移到conda环境中,而不是依赖水蟒包裹。在
我注意到你在这个主题中使用了python-2.7标记。请注意,免费的anacondacloudera包(从anaconda5release开始)不再提供Python2。它会随Python3一起出现。当心!那个变化使我们措手不及。这是迁移到conda的另一个原因,因为我们现在可以很容易地通过项目在Python2和{}之间切换。在
python-2.7
Python2
Python3
我假设你用Cloudera包在hadoop节点上安装了Anaconda?在
https://www.cloudera.com/downloads/partner/anaconda.html
如果是,那么你是正确的,你必须重新安装你在hadoop节点上安装的所有东西。在
Cloudera将包裹看作“immutable”——它们的状态不应该改变。所以,当你在包裹上安装东西,或者以任何方式改变它们时,期望你的改变可能会丢失。(例如,重新部署包裹,因为它会再次解开包裹)同样的情况也适用于升级-新的Python版本只提供了一个新的tar文件(这就是包裹的基本特征,带有一些元数据信息)。在
如果您对管理Python环境感兴趣,请查看
conda
虚拟环境-https://conda.io/docs/user-guide/overview.html,或
conda-pack
特别是作为纱上火花的例子-https://conda.github.io/conda-pack/spark.html我们目前正在将Spark的所有工作迁移到
conda
环境中,而不是依赖水蟒包裹。在我注意到你在这个主题中使用了}之间切换。在
python-2.7
标记。请注意,免费的anacondacloudera包(从anaconda5release开始)不再提供Python2
。它会随Python3
一起出现。当心!那个变化使我们措手不及。这是迁移到conda
的另一个原因,因为我们现在可以很容易地通过项目在Python2
和{相关问题 更多 >
编程相关推荐