教师平台上机器学习模型的交叉验证。

faculty-xval的Python项目详细描述


学院xval

教师平台上机器学习模型的交叉验证。目前, 包主要提供了一种通过以下方式并行交叉验证模型的方法 教师工作。要访问该功能,需要使用类:

faculty_xval.validation.JobsCrossValidator

其他信息可在提供的示例笔记本中找到。请喝一杯 请看下面的Try out the examples部分。

包支持kerassklearn模型。当一个人可以写定制 与faculty-xval兼容的模型,不能保证 包正确地处理这些情况,特别是由于问题 关于权重的随机性。

下面提供了两套安装说明:

  • 如果您只想使用faculty-xval,请按照 User installation instructions
  • 如果你想进一步发展,请按照 Developer installation instructions

用户安装说明

创建环境

在Faculty平台上的项目中,创建名为faculty_xval的环境。 在PYTHON部分,从下拉菜单中选择Python 3pip。 然后,在文本框中键入faculty-xval,然后单击ADD按钮。

环境安装程序包faculty-xval,并应应用于 创建的每个服务器;这包括交互式服务器和作业 服务器,如下所述。

创建作业定义

创建名为cross_validation的新作业定义。在COMMAND部分中, 粘贴以下内容:

faculty_xval_jobs_xval $IN_PATHS

然后,添加名为IN_PATHSPARAMETER,并确保 Make field mandatory框被选中。

最后,在SERVER SETTINGS下,将faculty_xval添加到ENVIRONMENTS 章节。

对于计算密集型的交叉验证作业,我们建议使用 专用服务器,而不是在共享基础设施上运行。实现 单击SERVER RESOURCES下的Large and GPU servers,然后选择 从下拉菜单中选择适当的服务器类型。

完成后请记住单击SAVE

开发人员安装说明

选择用户名

在开始安装过程之前,请选择适当的用户名,例如 foo。这不一定需要匹配您的教员平台用户名。 在下面的说明中,您选择的用户名将被称为 <USER_NAME>

克隆存储库

创建文件夹/project/<USER_NAME>。然后,运行命令:

cd /project/<USER_NAME>
git clone https://github.com/facultyai/faculty-xval.git

创建环境

接下来,在项目中创建名为faculty_xval_<USER_NAME>的环境。

在此环境中,在SCRIPTS下,将以下代码粘贴到BASH 部分,记住将第二行上的USER_NAME定义更改为 您选择的<USER_NAME>

# Remember to change username!USER_NAME=<USER_NAME>

# Install faculty-xval from local repository.
pip install /project/$USER_NAME/faculty-xval/

# Turn USER_NAME into an environment variable.echo"export USER_NAME=$USER_NAME" > /etc/faculty_environment.d/app.sh
if[[ -d /etc/service/jupyter ]];then
  sudo sv restart jupyter
fi

这个环境应该应用在您创建的每台服务器上;这个 包括“普通”交互服务器和作业服务器,如下所述。

创建作业定义

接下来,创建一个名为cross_validation_<USER_NAME>的新作业定义。在 COMMAND部分,粘贴以下内容:

faculty_xval_jobs_xval $in_paths

然后,添加名为in_pathsPARAMETER,并确保 Make field mandatory框被选中。

最后,在SERVER SETTINGS下,将faculty_xval_<USER_NAME>添加到 ENVIRONMENTS部分。

对于计算密集型的交叉验证作业,我们建议使用 与在群集中运行不同的专用服务器。要实现此目的,请单击 在SERVER RESOURCES下的Large and GPU servers上,选择适当的 从下拉菜单中选择服务器类型。

完成后请记住单击SAVE

尝试示例

请克隆此存储库。与faculty-xval交叉验证的示例 对于不同类型的模型在目录中提供 examples/kerasexamples/sklearn。使用说明分为 两个笔记本:

  • jobs_cross_validator_run.ipynb加载数据,实例化模型,然后 开始执行交叉验证。
  • jobs_cross_validator_analyse.ipynb从十字架上收集结果 验证,重新加载目标数据,并通过 多个列车测试分离。

请注意,示例笔记本必须按刚刚定义的顺序运行。

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
virtualbox无法从java移动共享文件夹中的文件   java如何连接Android 4.3.5(GA)的apache HttpClient库?   片段中的java Recyclerview未立即显示警报对话框结果   javac(n,r)计算器程序不工作   java使用BooleanQuery还是编写更多索引?   如何在java中设置y/n循环?   java不兼容的通用通配符捕获   java如何在安卓xml中编写数据绑定时的三元操作条件   java如何使用FileDialog?   java如何创建单元测试来检测是否有人使用错误的编码编辑了文件?   java如何从唯一的字符串生成唯一的int?   java gradletomcatplugin:log4j:WARN找不到记录器的附加程序   java我的动态编程解决方案(Kefa和第一步)在codeforces中有什么问题?   java每天更新两个数据库,使它们都包含相同的有效数据集   java如何检查给定的时间是否在时间限制之间   java在单个json POST上保存父级和子级   java如何获取Solr字段类型