土星云中的达斯克星团

dask-saturn的Python项目详细描述


达斯克土星

用于与中的Dask集群交互的Python库 Saturn Cloud。在

达斯克土星模仿 Dask-Kubernetes,但允许用户 与在中创建的群集交互 Saturn Cloud。在

启动群集

从Jupyter笔记本中,可以启动群集:

fromdask_saturnimportSaturnClustercluster=SaturnCluster()cluster

默认情况下,这将使用与您相同的设置启动dask集群 已经在土星用户界面或之前的笔记本中设置。在

使用n_workers启动具有一定数量的worker的集群 选项。同样地,{cd2>你可以设置。在

Note: If the cluster is already running then you can't change the settings. Attempting to do so will raise a warning.

调整工人人数

一旦你有了一个集群,你就可以通过jupyter与它交互 小部件,或使用scaleadapt方法。在

例如,要手动扩展到20个工人:

^{pr2}$

要创建控制其自身缩放的自适应簇,请执行以下操作:

cluster.adapt(minimum=1,maximum=20)

与客户互动

要向集群提交任务,有时需要访问 Client对象。以集群作为唯一的参数来实例化它:

fromdistributedimportClientclient=Client(cluster)client

关闭群集

要终止与群集关联的所有资源,请使用 close方法:

cluster.close()

更改设置

要更新现有集群上的设置(如n_workersworker_sizeworker_is_spotnthreads),请使用reset方法:

cluster.reset(n_workers=3)

您也可以在不首先实例化集群的情况下调用它:

cluster=SaturnCluster.reset(n_workers=3)

发展

创建/更新dask saturn conda环境:

make conda-update

设置环境变量以在本地atlas服务器上运行dask saturn:

exportBASE_URL=http://dev.localtest.me:8888/
exportSATURN_TOKEN=<JUPYTER_SERVER_SATURN_TOKEN>

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何从IBM MQ的JMSException检测可恢复错误   java Lucene6。4.2:找不到类,尝试添加查询。   Java Pdf差异库   在Java中多线程处理我的线程   java将字符串传递给Uri。下载中的parse()   java在列表中查找原语位置   java JPA条件从另一个查询中选择   java中的强制转换和转换   java如何在没有上下文的情况下获取SOAP Web服务(Apache Axis 1.4)的调用客户端的IP地址   java Android IllegalBlockSizeException:解密中最后一个块未完成   java Jersey是否要自定义无效资源路径的错误处理?   如何将JavaCVS web项目转换为基于maven的web项目?   java如何检查通用列表是否与jUnit相等?   arraylist java。util。尝试使用迭代器时发生ConcurrentModificationException错误   使用springsecurity,jsp上的java${u csrf.token}始终为空   sql使用java从临时表中选择数据   spring验证中的java@Notnull和@Pattern无效   java如何使用jQuery将包含对象数组的对象数组传递给Spring MVC控制器?