从后台的python生成器中,从单独的进程中预取元素

multiprocessing-generator的Python项目详细描述


从后台的python生成器中预取项目的库, 使用单独的过程。

安装(无依赖项):

pip install multiprocessing_generator

示例:

from multiprocessing_generator import ParallelGenerator

def my_generator():
    while True:
        # ... download something long ...
        yield result

with ParallelGenerator(
   my_generator(),
   max_lookahead=100) as g:
     for elem in g:
          # ... do some heavy processing on that element ...

在消耗的元素之前,最多有100个元素将由 在后台生成程序,这在生成程序和 使用者不使用相同的资源(例如网络与CPU)。

生成器处理异常和更严重的故障 透明的。

在麻省理工学院的许可下发布。

另请参见:https://github.com/justheuristic/prefetch_generator

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
iframe struts2中的java显示文档文件   java Graal SDK在应用程序运行时工作,但在单元测试中失败   java无法更新开放NLP模型   Selenium测试的javascript XPath标识   java Intellij不显示依赖项的源,但始终显示中JAR的反编译类。平方米   java如何在SWT中使用数据绑定启用和禁用按钮   bigdecimal Java:对2^1000的所有数字求和   java 安卓 tween动画:坐标在translate中是如何工作的?   java如何在Velocity中迭代列表项并显示预期结果   Java继承为什么这个toString打印BB而不是AB,AB?   java如何使程序等待设定的时间量?   java Eclipse是否有现成的GUI构建器?   java如何将公共EC代码点和曲线名称转换为公钥?   java Selenium 3 InternetExplorerDriver设置   java与Junit4兼容。十、   java有没有办法在Solr中实现IntRangeField?   java Spring数据JPA审核在Spring启动项目中的更新期间不起作用   Java代码重构问题   基于Java行中的单词比较文本行的字符串   java NumberFormatException在解析整数时抛出