Saturn云计算库中运行的客户端流
prefect-saturn的Python项目详细描述
完美土星
prefect-saturn是一个Python包，它使使用Saturn Cloud在Dask集群上运行Prefect Cloud流变得很容易。有关详细教程，请参见"Fault-Tolerant Data Pipelines with Prefect Cloud
"。在
安装
prefect-saturn在PyPi上可用。在
pip install prefect-saturn
prefect-saturn可以直接从GitHub安装
入门
prefect-saturn用于Saturn Cloud环境中，例如Jupyter笔记本。在
importprefectfromprefectimportFlow,taskfromprefect_saturnimportPrefectCloudIntegration@taskdefhello_task():logger=prefect.context.get("logger")logger.info("hello prefect-saturn")flow=Flow("sample-flow",tasks=[hello_task])project_name="sample-project"integration=PrefectCloudIntegration(prefect_cloud_project_name=project_name)flow=integration.register_flow_with_saturn(flow)flow.register(project_name=project_name,labels=["saturn-cloud"])
自定义Dask
您可以自定义用于运行完善流的Dask集群的大小和行为。prefect_saturn.PrefectCloudIntegration.register_flow_with_saturn()接受to参数来完成此操作：
dask_cluster_kwargs：传递给构造函数^{} 的关键字参数。在dask_adapt_kwargs：用于配置"Adaptive Scaling"的关键字参数
例如，下面的代码告诉Saturn这个流应该在一个有3个xlarge worker的Dask集群上运行，并且prefict应该在流运行完成后关闭集群。在
flow=integration.register_flow_with_saturn(flow=flow,dask_cluster_kwargs={"n_workers":3,"worker_size":"xlarge","autoclose":True})flow.register(project_name=project_name,labels=["saturn-cloud"])
贡献
请参阅^{prefect-saturn的文档。在
- 项目
标签：
欢迎加入QQ群-->： 979659372
