具有负载平衡和可自定义资源消耗约束的轻量级多进程执行池。

pyexpool的Python项目详细描述


pyexpool是一个并发执行池,具有自定义的资源约束(内存、超时、关联、cpu核心和缓存)和numa架构上外部应用程序的负载平衡。所有主要功能都实现为单个文件模块,可以轻松地包含在项目中,并作为发行版的一部分进行自定义(例如在PyCaBeM中,可以在专用CPU内核上并行执行多个应用程序,并避免它们从主内存中交换),还可以将其安装为库。在单独的模块中提供了一个可选的极简web接口,用于检查负载均衡器和执行池。通常,pyexpool被用作在受限计算资源上进行基准测试、负载测试或其他重载多进程执行活动的应用程序框架。pyexpool便于细粒度的资源控制(包括在特定数量的可选专用逻辑cpu上执行应用程序)和故障转移执行。

hwloc / lstopo should be additionally installed if customized CPU affinity masking and cache control are required, see Requirements section.

请查看PyExPool page的详细信息,如果您喜欢,请启动该项目!如需进一步帮助,您可以给我发电子邮件或写信me on Linkedin

双唇:

@misc{pyexpool,author={Artem Lutov and Philippe Cudré-Mauroux},title={PyExPool-v.3: A Lightweight Execution Pool with Constraint-aware Load-Balancer.},year={2018},url={https://github.com/eXascaleInfolab/PyExPool}}

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
文件名的java正则表达式限制名称大小和文件扩展名   Mac上的java Android SDK:jspawnhelper意外退出   java SQL Server 2000到Oracle 12c重音字符   在Java中快速比较大数据集中的值和小数据集中的值   java在代码中的许多地方保留对对象的引用   Java规范中私有内部类的jvm访问标志与反射API不一致?   比较2个int数组中匹配的数字   java Apache Commons数学简化回归:get prediction stderr   安卓 Java SDK管理器因命令行输出中的“flashplayerplugin”而崩溃   JavaSQLite:关闭DB时必须关闭游标吗?   泛型Java设计抽象类声明示例说明   java应用程序在添加片段时崩溃   如何在java中使用注释为字段加载值