提供关于软件测试用例结果的见解。
testyoke的Python项目详细描述
试验轭
为任何编程提供关于软件测试用例结果的见解 语言。在
这个项目将提供资源来记录测试套件和目标的结果 为测试添加有用的见解。考试被视为黄金,但你如何修剪 无效的,无效的,或者不准确的测试用例?使用TestYoke,您可以:
- 请参阅之前对这个gitsha的测试结果。 不用再跑了,节省了很多时间。在
- 薄片测试-通过和不通过目前的sha。 可能存在数据或服务依赖性问题。在
- 坏测试-连续SHA失败的测试。
如果这些已经被部署,这些测试就毫无价值了 提示用户删除,因为他们的成本超过了一个好的测试的价值。在 - 回归-失败的测试被修复,在不同的sha中再次失败 倒退是反复出现的问题。它们可能会提示优先修复。在
此项目中的HTTP服务可以在后台运行并接收 你的测试运行,不管你运行它们。在
该服务目前接受junitxml,很有可能是您的测试框架 可以导出该格式。尝试设置在每次运行后发布测试结果 通过您的构建过程。在
安装
pip install testyoke
入门
您将需要一个服务器向其报告度量。请参阅“运行服务”
testyoke包装器
测试套件包装正在进行中。它目前只支持pytest。在
^{pr2}$许多框架
testyoke
包装器支持许多测试框架。你可以
通过提供
FRAMEWORK
环境变量。在
FRAMEWORK=rspec testyoke rspec
自己运行服务
- 运行service。默认端口是7357,但是您可以使用
YOKE_PORT
env var来设置它
python3 -m testyoke.server YOKE_PORT=7357
- 每次运行测试时,
POST
使用client得到结果。在
python -m testyoke.client --sha=`git rev-parse HEAD` --report=junit.xml
{cd5>是目前流行的一种格式 在空间里。它由pytest,scalatest支持, 显然在java框架中也是如此。这是支持的第一种格式,但是 预计不久将支持更多格式。在
您可以通过curl/httppost通过client或curls提交 (在测试运行后运行此程序):
curl -H "vc-sha: $(SHA)" -H "Content-Type: application/xml+junit" -X POST -d @target/path/to/JUNIT.xml http://localhost:7357/projects/testharness/reports
通过以下方式获取报告:
curl http://localhost:7357/projects/testharness/shas/$(GIT_SHA)
分析
在运行测试之前运行此程序。
这将为您提供历史信息。如果它已经被证明了。在
python -m testyoke.client --sha=`git rev-parse HEAD`
输出示例:
###################################################
#
# nature: untested. fails 0, passes 0
#
###################################################
自然
这是您正在运行的SHA的分类。在
untested
-testyoke还没有看到这个SHA的结果clean
-testyoke从未在这个SHA上看到失败broken
-这个SHA从未完全通过。在- ^{10}被定义为至少有一个通过了测试。在
组件
- HTTP service
- 记者
- 标度试验
- pytest公司
- rspec公司
- cli客户端
- 分析
- 门户网站
拱门
API->持久 分析仪
- 项目
标签: