土星云中的达斯克星团
dask-saturn的Python项目详细描述
达斯克土星
用于与中的Dask集群交互的Python库 Saturn Cloud。在
达斯克土星模仿 Dask-Kubernetes,但允许用户 与在中创建的群集交互 Saturn Cloud。在
启动群集
从Jupyter笔记本中,可以启动群集:
fromdask_saturnimportSaturnClustercluster=SaturnCluster()cluster
默认情况下,这将使用与您相同的设置启动dask集群 已经在土星用户界面或之前的笔记本中设置。在
使用n_workers
启动具有一定数量的worker的集群
选项。同样地,{cd2>你可以设置。在
Note: If the cluster is already running then you can't change the settings. Attempting to do so will raise a warning.
调整工人人数
一旦你有了一个集群,你就可以通过jupyter与它交互
小部件,或使用scale
和adapt
方法。在
例如,要手动扩展到20个工人:
^{pr2}$要创建控制其自身缩放的自适应簇,请执行以下操作:
cluster.adapt(minimum=1,maximum=20)
与客户互动
要向集群提交任务,有时需要访问
Client
对象。以集群作为唯一的参数来实例化它:
fromdistributedimportClientclient=Client(cluster)client
关闭群集
要终止与群集关联的所有资源,请使用
close
方法:
cluster.close()
更改设置
要更新现有集群上的设置(如n_workers
、worker_size
、worker_is_spot
、nthreads
),请使用reset
方法:
cluster.reset(n_workers=3)
您也可以在不首先实例化集群的情况下调用它:
cluster=SaturnCluster.reset(n_workers=3)
发展
创建/更新dask saturn conda环境:
make conda-update
设置环境变量以在本地atlas服务器上运行dask saturn:
exportBASE_URL=http://dev.localtest.me:8888/ exportSATURN_TOKEN=<JUPYTER_SERVER_SATURN_TOKEN>
- 项目
标签: