在JupyterHub上运行工作流

jupyterflow的Python项目详细描述


巨流

在JupyterHub上运行您的工作流!在

什么是JupyterFlow?在

用一个命令在JupyterHub上运行Argo Workflow。在

  • 不需要运行Kubernetes知识(YAML)。
  • 无容器映像生成和推送或部署。
  • 只需使用一个命令jupyterflow运行工作流。在

jupyterflow是一个单独的命令,它可以帮助用户使用Argo工作流引擎,而无需在JupyterHub上生成任何YAML文件或构建容器。下面的jupyterflow命令将为您创建序列工作流。就这样!在

jupyterflow run -c "python hello.py >> python world.py"

要创建并行工作流,请编写您自己的^{}文件。在

要解决的问题

  • 我想有效地训练多个ML模型。在
  • 使用Kubernetes是个好主意,因为
    • 分配工作很容易。在
    • 在多个训练服务器上调度ML作业很容易。在
    • 它具有本地资源管理机制。在
    • 它有良好的监控系统。在
  • 但也有一些缺点。
    • 每次更新我的模型时,我都需要重新构建和重新推送图像。这很痛苦。在
    • 不熟悉k8s的人很难使用这种方法。在

JupyterFlow旨在解决这个问题。使用单个命令在JupyterHub上运行工作流,而不执行Kubernetes&container麻烦的任务。在

限制

JupyterFlow只适用于部署在Kubernetes上的JupyterHub。在

因此,虽然使用JupyterFlow并不需要Kubernetes的知识,但是设置JupyterFlow需要Kubernetes的理解(YAML,helmService)。如果你熟悉库伯内特斯,那就不难了。在

入门

要设置jupyterflow并开始运行您的第一个工作流,请遵循Getting Started指南。在

它是如何工作的

要了解它是如何工作的,请转到How it works指南。在

示例

有关如何使用的示例,请参见Examples页。在

配置

要了解更多配置,请查看Configuration页。在

CLI参考

有关jupyterflow命令行界面的详细用法,请在CLI Reference页上找到更多信息。在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java何时可以运行。toString()是否有可能返回重复的字符串?   使用REST进行Java应用程序登录验证?   java测试onErrorResume()Spring Webflux   java设置一个单元格样式,使数字显示为百分比ApachePOI   java仅替换regex az09   java将字符串附加到文件   java Hibernate:如何在集合中查找对象   当独立客户端为Web服务实例化代理时,java WebSphere会生成ClassNotFoundException   java简单算法。我做不好   java我的代码有什么问题?我想用Android制作一个“cardflip”动画   java如何模拟Springbean及其自动连接的参数?   java在Android中将arraylist对象的某些参数显示到列表视图中   java setOnclickListener(此)错误   java自动连接未按类型连接bean   java如何禁止在Viewpager上滑动?   java代码检查每个if语句吗?   java NIO选择器OP_READ和OP_WRITE,关于处理它们的一些问题   java如何在不锁定文件的情况下获取文件大小   Oculus Rift的Java API?   java是一种选择。仍然需要fork来设置bootClasspath