在JupyterHub上运行工作流
jupyterflow的Python项目详细描述
巨流
在JupyterHub上运行您的工作流!在
什么是JupyterFlow?在
用一个命令在JupyterHub上运行Argo Workflow。在
- 不需要运行Kubernetes知识(YAML)。
- 无容器映像生成和推送或部署。
- 只需使用一个命令
jupyterflow
运行工作流。在
jupyterflow
是一个单独的命令,它可以帮助用户使用Argo工作流引擎,而无需在JupyterHub上生成任何YAML文件或构建容器。下面的jupyterflow
命令将为您创建序列工作流。就这样!在
jupyterflow run -c "python hello.py >> python world.py"
要创建并行工作流,请编写您自己的^{
要解决的问题
- 我想有效地训练多个ML模型。在
- 使用Kubernetes是个好主意,因为
- 分配工作很容易。在
- 在多个训练服务器上调度ML作业很容易。在
- 它具有本地资源管理机制。在
- 它有良好的监控系统。在
- 但也有一些缺点。
- 每次更新我的模型时,我都需要重新构建和重新推送图像。这很痛苦。在
- 不熟悉k8s的人很难使用这种方法。在
JupyterFlow旨在解决这个问题。使用单个命令在JupyterHub上运行工作流,而不执行Kubernetes&container麻烦的任务。在
限制
JupyterFlow只适用于部署在Kubernetes上的JupyterHub。在
因此,虽然使用JupyterFlow并不需要Kubernetes的知识,但是设置JupyterFlow需要Kubernetes的理解(YAML,helm
,Service
)。如果你熟悉库伯内特斯,那就不难了。在
入门
要设置jupyterflow
并开始运行您的第一个工作流,请遵循Getting Started指南。在
它是如何工作的
要了解它是如何工作的,请转到How it works指南。在
示例
有关如何使用的示例,请参见Examples页。在
配置
要了解更多配置,请查看Configuration页。在
CLI参考
有关jupyterflow
命令行界面的详细用法,请在CLI Reference页上找到更多信息。在
- 项目
标签: