教师平台上机器学习模型的交叉验证。
faculty-xval的Python项目详细描述
学院xval
教师平台上机器学习模型的交叉验证。目前, 包主要提供了一种通过以下方式并行交叉验证模型的方法 教师工作。要访问该功能,需要使用类:
faculty_xval.validation.JobsCrossValidator
其他信息可在提供的示例笔记本中找到。请喝一杯
请看下面的Try out the examples
部分。
包支持keras
和sklearn
模型。当一个人可以写定制
与faculty-xval
兼容的模型,不能保证
包正确地处理这些情况,特别是由于问题
关于权重的随机性。
下面提供了两套安装说明:
- 如果您只想使用
faculty-xval
,请按照User installation instructions
。 - 如果你想进一步发展,请按照
Developer installation instructions
。
用户安装说明
创建环境
在Faculty平台上的项目中,创建名为faculty_xval
的环境。
在PYTHON
部分,从下拉菜单中选择Python 3
和pip
。
然后,在文本框中键入faculty-xval
,然后单击ADD
按钮。
环境安装程序包faculty-xval
,并应应用于
创建的每个服务器;这包括交互式服务器和作业
服务器,如下所述。
创建作业定义
创建名为cross_validation
的新作业定义。在COMMAND
部分中,
粘贴以下内容:
faculty_xval_jobs_xval $IN_PATHS
然后,添加名为IN_PATHS
的PARAMETER
,并确保
Make field mandatory
框被选中。
最后,在SERVER SETTINGS
下,将faculty_xval
添加到ENVIRONMENTS
章节。
对于计算密集型的交叉验证作业,我们建议使用
专用服务器,而不是在共享基础设施上运行。实现
单击SERVER RESOURCES
下的Large and GPU servers
,然后选择
从下拉菜单中选择适当的服务器类型。
完成后请记住单击SAVE
。
开发人员安装说明
选择用户名
在开始安装过程之前,请选择适当的用户名,例如
foo
。这不一定需要匹配您的教员平台用户名。
在下面的说明中,您选择的用户名将被称为
<USER_NAME>
。
克隆存储库
创建文件夹/project/<USER_NAME>
。然后,运行命令:
cd /project/<USER_NAME>
git clone https://github.com/facultyai/faculty-xval.git
创建环境
接下来,在项目中创建名为faculty_xval_<USER_NAME>
的环境。
在此环境中,在SCRIPTS
下,将以下代码粘贴到BASH
部分,记住将第二行上的USER_NAME
定义更改为
您选择的<USER_NAME>
:
# Remember to change username!USER_NAME=<USER_NAME> # Install faculty-xval from local repository. pip install /project/$USER_NAME/faculty-xval/ # Turn USER_NAME into an environment variable.echo"export USER_NAME=$USER_NAME" > /etc/faculty_environment.d/app.sh if[[ -d /etc/service/jupyter ]];then sudo sv restart jupyter fi
这个环境应该应用在您创建的每台服务器上;这个 包括“普通”交互服务器和作业服务器,如下所述。
创建作业定义
接下来,创建一个名为cross_validation_<USER_NAME>
的新作业定义。在
COMMAND
部分,粘贴以下内容:
faculty_xval_jobs_xval $in_paths
然后,添加名为in_paths
的PARAMETER
,并确保
Make field mandatory
框被选中。
最后,在SERVER SETTINGS
下,将faculty_xval_<USER_NAME>
添加到
ENVIRONMENTS
部分。
对于计算密集型的交叉验证作业,我们建议使用
与在群集中运行不同的专用服务器。要实现此目的,请单击
在SERVER RESOURCES
下的Large and GPU servers
上,选择适当的
从下拉菜单中选择服务器类型。
完成后请记住单击SAVE
。
尝试示例
请克隆此存储库。与faculty-xval
交叉验证的示例
对于不同类型的模型在目录中提供
examples/keras
和examples/sklearn
。使用说明分为
两个笔记本:
jobs_cross_validator_run.ipynb
加载数据,实例化模型,然后 开始执行交叉验证。jobs_cross_validator_analyse.ipynb
从十字架上收集结果 验证,重新加载目标数据,并通过 多个列车测试分离。
请注意,示例笔记本必须按刚刚定义的顺序运行。