nose2插件在pyspark的支持下运行测试。
nose2-spark的Python项目详细描述
nose2在pyspark(Apache Spark)支持下运行测试的插件。
功能:
- 在nose2执行的代码中使“pyspark”可导入。
- 添加pyspark应用程序的py-files依赖项列表(其中 通常作为选项spark-submit--py-files ...提供。
安装
$ pip install nose2-spark
用法
通过在项目中创建nose2.cfg,将“nose2 spark”插件加载到nose2中 目录:
[unittest] plugins = nose2_spark
在nose2 spark激活的情况下运行测试(pyspark和friends被添加到 Python):
$ nose2 --pyspark
nose2 spark将尝试通过以下方式导入pyspark:
- 一些常见的火花位置。
如果所有提到的方法都失败了,您可以手动设置它 找到火花。将“nose2 spark”部分添加到nose2.cfg:
[nose2-spark] spark_home = /opt/spark
您可以添加运行代码所需的py-files列表:
[nose2-spark] pyfiles = package1.zip package2.zip
示例
示例nose2.cfg具有spark_home定义、一个py-files依赖项和 自动激活NOSE2火花塞:
[unittest] plugins = nose2_spark [nose2-spark] always-on = True spark_home = /opt/spark pyfiles = package1.zip
这将允许通过单个命令运行测试:
$ nose2