拱门跷跷板套件

seesaw的Python项目详细描述


Seesaw toolkit是一个用于分布式web处理的异步工具包它用Python编写并以其行为命名,支持并发下载、上传等操作。

这个工具包以[归档团队项目](http://Archive Team.org)而闻名它还为[归档团队战士](http://Archive Team.org/index.php)提供动力?标题=战士)。[构建状态](https://secure.travis ci.org/archiveteam/seesaw kit.png)(http://travis ci.org/archiveteam/seesaw kit)
[![覆盖状态](https://coveralls.i o/repos/archiveteam/seesaw kit/badge.svg)(https://coveralls.io/r/archiveteam/seesaw kit)

要尝试运行示例管道:

-

sudo pip install-r requirements.txt
./run pipeline--help
./run pipeline examples/example-pipeline.py someone


将浏览器指向“http://127.0.0.1:8001/”。

对于Python版本。



Overview
--


General idea:一组“Task”可以组合到处理“Item”的“Pipeline”中:

*需要下载“Item”的内容(例如用户)它具有由“task”填充的属性。
*task是下载过程中的一个步骤:它接受一个项目,对它执行某些操作并将其传递给其他人。示例任务:从跟踪程序中获取项目名称,运行下载脚本,同步结果,通知跟踪程序已完成。
*a`Pipeline`表示一个“任务”序列。若要为新项目生成跷跷板脚本,请指定一个新的“Pipeline”。

a`Task`可以一次处理多个“项目”(例如多个Wget下载)可以通过将任务包装为“limit concurrency”任务来限制并发性:这将对项目进行排队并逐个运行(例如,一次Rsync上载)。

需要将“Pipeline”馈送为空的“Item”对象;通过控制活动“Item”的数量,可以限制项目的数量(例如,每次项离开管道时添加一个新项。)

将为每个项目重新计算这些对象的值。示例:路径名取决于项目名、可配置的带宽限制、并发下载的数量。


欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
javascript问题:通过URL用网站数据填充Textview   java TabLayout Android,如何用几个标签填充整个屏幕宽度,并用大量标签滚动?   Eclipse Java运行的文件不再存在于我的工作区中   安装两个Java版本时,使用Java的windows链接不起作用   java将多个图形添加到单个JPanel   java Kafka ConsumerFactory,带有两个Desiarizer   使用反射更改java类超类   当一致性测试失败时,java有没有办法让堆栈跟踪显示在控制台中   java映射到基元类型的HashMap的快速替代方案是什么?   java关闭一个jframe所有剩余的打开jframe都将关闭。   java为什么不推荐“使用getString()获取设备标识符”?   java值比较和值赋值之间有什么性能差异吗?   Java实体数组到JavaScript数组   java使用流将一个列表转换为另一个列表   在JTree中保存对象,但更改显示的名称(java swing)?   java“Hello world”Android应用程序,文件尽可能少,没有IDE,只有文本编辑器   java在方法之间传递值   java如何为项目数组创建ParseQuery?