我有一个python/pyspark项目,其结构如下:
project
__ini__.py
module1
__ini__.py
file1.py
file_run1.py
module2
__ini.py
file2.py
file_run2.py
shared_allmodules
__ini__.py
func1.py
func2.py
文件\u run1.py:
from shared_allmodules import func1, func2
from module1 import file1
文件2.py:
from shared_allmodules import func2
我在CDSW中有thia结构,它在那里工作。但现在我必须将所有文件移到unix服务器中并从那里运行
但当我跑的时候
spark2-submit file_run1.py
在module1目录中,我有一个错误“没有名为shared\u allmodules的模块”
我是python/pyspark新手,不知道该怎么做才能在unix中识别我的子模块
我没有main.py,因为我不知道如何使用它。 而且我没有if name=main的条件
我的py文件有很多pyspark代码,我只是在这里写了目录结构的一部分
你知道为了在unix中运行从其他目录导入模块的py文件我必须做些什么吗
您需要指定环境变量
PYTHONPATH
,它为python解释器目录(在site-packages
之外的目录)定义visible,或者使用setuptools
[1]在系统中安装您的模块示例:
相关问题 更多 >
编程相关推荐