2024-09-27 17:51:24 发布
网友
有没有办法,如何将this one这样的外部库添加到hdfs中? pyspark似乎需要外部lib才能将它们放在hdfs上的共享文件夹中。Byt因为我使用的是shell脚本,它运行pyspark脚本和外部库,所以无法导入它们。在
参见文章here关于importeror。在
我们在所有工作节点上安装了库。我们只在NameNode上有。在
您可以使用 py-files选项添加外部库。您可以提供.py文件或.zip文件。在
py-files
例如,使用spark提交:
spark-submit master yarn py-files ./hdfs.zip myJob.py
检查相应的文档:Submitting Applications
我们在所有工作节点上安装了库。我们只在NameNode上有。在
您可以使用
py-files
选项添加外部库。您可以提供.py文件或.zip文件。在例如,使用spark提交:
检查相应的文档:Submitting Applications
相关问题 更多 >
编程相关推荐