cabu 0.0.2

cabu

cabu是一个简单的微服务框架，用于远程抓取网站。 它基于flask和selenium构建，包含一个虚拟显示包装器和一些方法。

Full documentation here

用法

@app.route('/gizmodo_last_articles_links')defgizmodo_last_articles():app.webdriver.get('http://www.gizmodo.com')articles_links=[i.get_attribute('href')foriinapp.webdriver.find_elements_by_css_selector('h1.headline>a')]returnjsonify({'articles':articles_links})

安装

$ pip install cabu

功能

• 硒配置开箱即用
• 烧瓶包装
• 包括爬网方法
• AWS S3出口
• ftp/ftps
• cookies持久性
• 链接提取程序
• 代理配置
• 本地调试的无头选项
• Docker预先配置的分布式环境
• 数据库处理程序
• 与大多数烧瓶扩展兼容（烧瓶管理、烧瓶邮件、烧瓶OAuth…）
• 12个因素合规性

（可能很快就到）

• couchdb支持
• Couchbase支持
• 移动驱动程序
• SFTP
• htmlUnit Web驱动程序
• 远程webdriver包装器
• 并行化
• 神经网络插件

测试

所有测试都是用Docker服务而不是Mock编写的。 很快将添加替代模型；）

$ pip install -r requirements-dev.txt
$ py.test cabu/tests

贡献

请看Contribute page。

版权所有

cabu是一个由Théotime Lévèque开发的开源项目。