用于纱线应用程序的python包装器
knit的Python项目详细描述
knit库为scala提供了一个python接口，用于交互 与纱线资源经理。
查看knit的documentation。
概述
knit允许您将python与最常用的资源yarn结合使用 Hadoop系统经理。 它提供以下高级入口点：
- CondaCreator，一种创建压缩conda环境的方法，以便将它们上载到 用于纱线容器的HDF和提取物
- YARNAPI，用于获取应用程序/容器状态的纱资源管理器接口， 记录并终止正在运行的作业
- Knit，一个纱应用程序运行程序，它生成一个基于scala的纱客户端的实例， 并在纱线上启动一个应用程序，该应用程序依次在纱线容器中运行命令
- DaskYARNCluster，在一个工作进程的yarn上启动一个dask分布式集群 每个集装箱。
其目的是使用来自集群边缘节点的knit，即， 具有纱线配置和本地可用的cli。
快速启动
从Conda Forge安装
>；Conda安装-C Conda Forge Knit
或使用pip
>；PIP安装针织
如果从源代码安装，则必须首先构建Java库（需要Java和Maven）
>；python setup.py安装mvn
在纱线簇上运行任意命令
importknitk=knit.Knit()k.start('env')# wait some timek.logs()
在纱线上启动DASK群集
importdask_yarncluster=dask_yarn.DaskYARNCluster()cluster.start(nworkers=4,memory=1024,cpus=2)
欢迎加入QQ群-->： 979659372
