使用DASK执行可重复机器学习实验的轻量级工具。

daskperiment的Python项目详细描述


https://img.shields.io/pypi/v/daskperiment.svgLatest Docshttps://travis-ci.org/sinhrks/daskperiment.svg?branch=masterhttps://codecov.io/gh/sinhrks/daskperiment/branch/master/graph/badge.svg

概述

daskperiment是执行可重复机器学习实验的工具。 它允许用户定义和管理试验的历史记录 (给定参数、结果和执行环境)。

这个包是在dask上构建的,dask是一个用于任务并行计算的包。 行程安排。每一个实验试验的内部表示为dask计算 图,可以并行执行。

优点

  • 与标准python/jupyter环境兼容(也可以选择与标准kvs兼容)。
    • 无需设置服务器应用程序
    • 无需在任何云服务上注册
    • 在标准/自定义的python shell上运行
  • 直观的用户界面
      需要对现有代码进行少量修改
    • 试用历史记录将自动记录(无需编写其他记录代码)
    • dask兼容的api
    • 易于访问的实验历史(使用熊猫基本操作)
    • Git的管理工作更少(不需要每次测试都创建分支)
    • (实验性)用于管理试用历史记录的Web仪表板
  • 实验相关信息的可追溯性
    • 试验结果及其(超)参数。
    • 代码上下文
    • 环境信息
      • 设备信息
      • 操作系统信息
      • python版本
      • 已安装的python包及其版本
      • Git信息
  • 再现性
    • 检查功能纯度(每个步骤应为相同的输入返回相同的输出)
    • 自动随机播种
  • 自动保存和加载以前的实验记录
  • 实验步骤的并行执行
  • 实验共享
    • redis后端
    • MongoDB后端

未来范围

  • 更高效的执行。
    • 如果依赖参数相同,则省略执行操作
    • 分布式执行

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
我可以用C++代码使用java代码吗?   java使用JSR303在派生类中提供更具体的约束   java在这个查找唯一路径数算法中我做错了什么?   java如何为2个不同的服务提供商使用2个不同的SSL证书?   java在Gridview上绘制文本   java使用连接for循环构建字符串名   java StringBuilder拆分无法处理某些文件   java事件关注EditText   Java Web Start“找不到URL的缓存资源”   java程序从命令行运行的速度比在Eclipse中慢   java为什么HttpServletRequest会截断#字符上的url输入?   java自定义折叠工具栏平滑标题大小调整   使用Mockito对安卓 java中调用另一个静态函数的函数进行单元测试   http在java客户机中使用cachecontrol头   java如何使用。是否使用Delimiter从输入文件中排除标点符号和数字?   使用上下文作为参数/参数的java   java更有效地从Jar中提取文件   java为多个JButton提供相同的actionListener