使用DASK执行可重复机器学习实验的轻量级工具。
daskperiment的Python项目详细描述
概述
daskperiment是执行可重复机器学习实验的工具。 它允许用户定义和管理试验的历史记录 (给定参数、结果和执行环境)。
这个包是在dask上构建的,dask是一个用于任务并行计算的包。 行程安排。每一个实验试验的内部表示为dask计算 图,可以并行执行。
优点
- 与标准python/jupyter环境兼容(也可以选择与标准kvs兼容)。
- 无需设置服务器应用程序
- 无需在任何云服务上注册
- 在标准/自定义的python shell上运行
- 直观的用户界面
- 试用历史记录将自动记录(无需编写其他记录代码)
- dask兼容的api
- 易于访问的实验历史(使用熊猫基本操作)
- Git的管理工作更少(不需要每次测试都创建分支)
- (实验性)用于管理试用历史记录的Web仪表板
- 试验结果及其(超)参数。
- 代码上下文
- 环境信息
- 设备信息
- 操作系统信息
- python版本
- 已安装的python包及其版本
- Git信息
- 检查功能纯度(每个步骤应为相同的输入返回相同的输出)
- 自动随机播种
- redis后端
- MongoDB后端
未来范围
- 更高效的执行。
- 如果依赖参数相同,则省略执行操作
- 分布式执行