MLSpec助手库使在ML工作流中使用元数据变得更容易。
mlspeclib的Python项目详细描述
ML规范库
MLSpec Lib的目的是提供一个库,可以轻松地读写与ML管道中的步骤相关的模式化元数据。在
最初的模式集就是从这里提取的——作为初始规范的一组说明性数据。在
如果您有一个执行以下操作的示例管道:
- 读取数据
- 以某种方式转换数据并将其保存到新目录中
- 根据数据训练模型
- 将培训结果写入新目录
- 已将模型转换为培训格式
- 已为模型创建服务终结点
在每个步骤中,您都希望使用第一类python对象来驱动工作流,并且,理想情况下,您希望读/写 关于你要做什么来获得永久记录的元数据。在
这就是MLSpecLib的设计目的:
- 在中读取元数据
- 提供一个第一类Python对象以供使用
- 允许根据模式验证Python对象
- 以可读的YAML格式将对象写入磁盘
要查看它的实际操作,请转到示例笔记本。在
***注意:示例笔记本仅供参考!它实际上并不执行任何实际的训练,模式只是作为示例。***在
- 入门*
- 将此回购交易转移到一个目录。在
- 强烈建议您设置一个虚拟环境-请参阅此处的操作方法:https://uoa-eresearch.github.io/eresearch-cookbook/recipe/2014/11/26/python-virtual-env/
# Go into the directory and install all packages
pip3 install -r requirements.txt
# Change into the notebook directory and install jupyter
pip3 install jupyter
# Start a notebook server
jupyter notebook
现在转到jupyter给您的URL,并运行示例笔记本。它应该提供如何使用原生感觉Python从磁盘读写完整对象的示例。在
待办事项:
- 在列表中支持更好的键入/灵活性(包括允许的)
- 实际使用示例-更多笔记本电脑
库结构和工具源于Kenneth Reitz的工作:
Learn more <http://www.kennethreitz.org/essays/repository-structure-and-python>
\。在- 如果您想了解
setup.py
文件的更多信息,请查看this repository <https://github.com/kennethreitz/setup.py>
\。在
- 项目
标签: