在英雄身上运行scrapy的实用程序

scrapy-heroku的Python项目详细描述


帮助在Heroku上运行Scrapy的包。这是通过提供 在scrapy_heroku.app.application启动的自定义应用程序配置 使用端口环境变量和多进程工作的scrapyd web服务 在数据库URL环境指定的Postgres数据库上实现的队列 变量。

配置

创建一个在根目录下有一个scrapy项目的git repo(scrapy.cfg应该在 最高级别)。编辑scrapy.cfg以包含以下内容:

[scrapyd]
application = scrapy_heroku.app.application

[deploy]
url = http://<YOUR_HEROKU_APP_NAME>.herokuapp.com:80/
project = <YOUR_PROJECT_NAME>
username = <A_USER_NAME>
password = <A_PASSWORD>

添加包含scrapy-heroku的requirements.txt文件。它是强烈的 建议你版本的pin scrapy heroku以及版本的scrapy that 您的项目是根据(pip freeze>;requirements.txt)开发的。最后创建一个 procfile,包含:

web: scrapy server

确保您的Postgres数据库已升级到数据库URL

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
JSON对象字段中的java MongoDB JSON数组删除   java Spring Boot@Autowired对象空指针异常   java什么时候出现内存不足?   安卓三星健康:解决java。lang.IllegalArgumentException:心率(读取)无效   tomcat java重定向301但浏览器未正确打开新url   java对象数组重复擦除   整数的JavaSpringbean注入失败   对于重复查询,JDBCforMySQL的java性能非常慢   java Entitymanager,连接太多   使用RequestDispatcher发送变量值时出现java问题   java如何禁用GWT RichTextArea拖动调整大小   JavaEclipse插件开发:如何通过代码添加默认VM参数?   java如何使用时间戳构造函数   java将两个活动JPanel层叠在一起