cluster-pack 0.2.2

集束器

cluster pack是位于pex或{a2}之上的库，可以使Python代码在集群上轻松可用。在

它的目标是使prod/devpython代码库在任何集群上都可以轻松使用。集群包支持HDFS/S3作为分布式存储。在

第一个示例使用Skein（在apacheyarn上部署应用程序的简单库）和带有HDFS存储的PySpark。我们打算为其他应用程序（如Dask，Ray）和S3存储添加更多示例。在

可以找到一篇介绍博客文章here。在

安装

安装Pip

$ pip install cluster-pack

从源安装

^{pr2}$

先决条件

集群包支持Python≥3.6。在

特点

• 在

  提供包含当前虚拟环境或conda环境的所有依赖项的包

  在
• 在

  存储环境的元数据

  在
• 在

  通过利用pip的editable installs mode支持“开发中”模式，所有可编辑的需求将一直上传，使本地更改在集群上直接可见

  在
• 在

  交互式（Jupyter笔记本）模式

  在
• 在

  提供配置帮助程序以在应用程序中直接使用上载的zip文件

  在
• 在

  通过传播所有工件从作业启动作业

  在

带skein的基本示例

1. 在

   Interactive mode

   在
2. 在

   Self shipping project

   在

带PySpark的基本示例

1. 在

   PySpark with HDFS on Yarn

   在
2. 在

   Docker with PySpark on S3

   在

标签：

• 项目

欢迎加入QQ群-->： 979659372

推荐PyPI第三方库

• chesstools

  用于编写国际象棋人工智能的工具库，以及服务器、客户端和任何其他需要国际象棋引擎的软件。

• anycall

  使用twisted框架的远程prosecure调用库。

• django-bitoptions

  这个项目用一个单独的字段和一些令人眼花缭乱的功能替换了几个相关的布尔字段。

• robotframework-winrmlibrar

  用于windows远程管理的robot框架库

• odoo8-addon-website-no-crawler

  禁用robots.txt以供google等网络绘图程序索引

• o2locktop

  O2locktop是一个类似于OCFS2 DLM的顶部锁定监视器

• summer-days

  一个python包，用于获取任何位置的天气报告。

• Sift

  sift science的api的python绑定

• tracetools

  用于打印二进制数据格式化跟踪的跟踪工具包

• nim-install

  在linux virtualenv中安装nim编译器假定使用gcc

• jupyter-alabaster-theme

  朱庇特雪花石膏主题

• anthemav

  用于控制anthem接收器的python api

• lighteda

  探索性数据分析包。

• helios-web3

  Helios版本的web3.py

• neuralee

  大规模单细胞数据的神经网络可扩展可视化