以DAG的形式检查ML管道
mlinspect的Python项目详细描述
M检查
检查Python中DAG形式的ML管道
在本地运行mlinspect
先决条件:python==3.8(当前阻止程序:sklearn似乎不支持3.9)
- 在
克隆此存储库
在 - 在
设置环境
在cd mlinspect
python -m venv venv
source venv/bin/activate
- 在
安装pip依赖项
在pip install -e .[dev]
- 在
如果您想使用我们提供的可视化功能,请安装无法通过pip安装的graphviz
在Linux:
apt-get install graphviz
MAC OS:
brew install graphviz
- 在
运行测试
在python setup.py test
愿景
使分析管道和自动检查常见问题更容易。在
frommlinspectimportPipelineInspectorfrommlinspect.inspectionsimportMaterializeFirstOutputRowsfrommlinspect.checksimportNoBiasIntroducedForIPYNB_PATH=...inspector_result=PipelineInspector\ .on_pipeline_from_ipynb_file(IPYNB_PATH)\ .add_required_inspection(MaterializeFirstOutputRows(5))\ .add_check(NoBiasIntroducedFor(['race']))\ .execute()extracted_dag=inspector_result.daginspection_to_annotations=inspector_result.inspection_to_annotationscheck_to_check_results=inspector_result.check_to_check_results
详细示例
我们准备了一个demo notebook来展示mlinspect及其特性。在
注释
- 要在PyCharm中调试,请设置pytest标志
--no-cov
(Link) - 这是一个研究项目,因此在当前的初始阶段不可能全面覆盖所有可能的mlapi。如果遇到我们还无法处理的api,我们会尽量告诉您。在
许可证
这个库是在Apache2.0许可下授权的。在
- 项目
标签: