在英雄身上运行scrapy的实用程序
scrapy-heroku的Python项目详细描述
帮助在Heroku上运行Scrapy的包。这是通过提供 在scrapy_heroku.app.application启动的自定义应用程序配置 使用端口环境变量和多进程工作的scrapyd web服务 在数据库URL环境指定的Postgres数据库上实现的队列 变量。
配置
创建一个在根目录下有一个scrapy项目的git repo(scrapy.cfg应该在 最高级别)。编辑scrapy.cfg以包含以下内容:
[scrapyd] application = scrapy_heroku.app.application [deploy] url = http://<YOUR_HEROKU_APP_NAME>.herokuapp.com:80/ project = <YOUR_PROJECT_NAME> username = <A_USER_NAME> password = <A_PASSWORD>
添加包含scrapy-heroku的requirements.txt文件。它是强烈的 建议你版本的pin scrapy heroku以及版本的scrapy that 您的项目是根据(pip freeze>;requirements.txt)开发的。最后创建一个 procfile,包含:
web: scrapy server
确保您的Postgres数据库已升级到数据库URL
- 项目页:<;http://github.com/dmclain/scrapy-heroku>;