一套用于组织和扩展ml实验的工具
xtlib的Python项目详细描述
xtlib:实验工具库
xtlib是一个api和命令行工具,用于运行和管理ml实验。
xtlib是一个api和命令行工具,用于运行和管理ml实验。
特点: -实验存储(本地计算机、服务器、azure存储) -集中存储实验日志、源文件、结果和模型 -工作区管理(添加ws、添加协作者、删除ws、枚举) -实验管理(添加、注释、删除、复制、提取、枚举) -工作区和实验文件的管理(上传、下载、枚举)
- Experiment Run (local machine, server, Azure VM, Azure Batch)
- start new experiment on specified machine(s)
- stop run
- check / monitor status of run
- annotate run (comments)
- log events
- hyperparameter tuning runs
xtlib的目标是使您能够轻松地组织和扩展您的ml实验。 我们的工具提供了一种渐进的采用方法,因此您可以立即开始实现好处。
xtlib提供了一个实验存储,使您能够轻松地跟踪、比较、重新运行和共享您的ml实验。
存储区由用户定义的工作区组成,每个工作区都可以包含一组用户运行的实验。
XT目前支持两种存储服务:本地(基于文件夹)和azure(基于azure存储)。
此外,xtlb还提供了对可伸缩计算资源的简单访问,因此您可以 根据需要,可以在大型计算机上并行运行多个实验。有了这个功能, 您可以在本地计算机、其他本地计算机或为其设置的虚拟机上运行实验 在一台或多台云计算上按需分配(azure批处理)。
最后,XTLIB提供了一些其他与实验相关的特性,以帮助您最大限度地提高ML敏捷性: -超参数搜索 -各种数据集和模型的ml代码生成有关详细信息,请运行:xt--help