在马拉松上部署达斯克
daskathon的Python项目详细描述
在marathon上部署dask-worker进程以响应dask上的负载 调度程序。这将创建dask工作进程的马拉松式应用程序。它 监视本地进程中的dask调度程序对象，并基于当前 请求加载，上下缩放马拉松应用程序。
运行
现在还不清楚如何向命令行公开所有必需的选项 接口。现在我们一切都是手工操作。
使ioloop在单独的线程中运行：
withMarathonCluster(marathon='http://localhost:8080',cpus=1,mem=512,adaptive=True)asmc:withClient(mc.scheduler_address)asc:x=c.submit(lambdax:x+1,1)assertx.result()==2
创建客户端并将工作提交给计划程序。马拉松将为工人们定标 根据当前工作负载的需要上下移动。
fromdistributedimportClientc=Client(s.address)future=c.submit(lambdax:x+1,10)
待办事项
- [X]在群集上部署计划程序
- [X]支持命令行界面
Docker测试线束
这将使用 码头工人作曲。
需要：
- Docker版本=1.11.1
- docker compose version=1.7.1
docker-compose up
运行py.test:
py.test dask-marathon
网络用户界面
- http://localhost:5050/用于Mesos主用户界面
- http://localhost:5051/对于第一个mesos代理ui
- http://localhost:8080/用于马拉松用户界面
历史
欢迎加入QQ群-->： 979659372
