在英雄身上运行scrapy的实用程序

scrapy-heroku的Python项目详细描述


帮助在Heroku上运行Scrapy的包。这是通过提供 在scrapy_heroku.app.application启动的自定义应用程序配置 使用端口环境变量和多进程工作的scrapyd web服务 在数据库URL环境指定的Postgres数据库上实现的队列 变量。

配置

创建一个在根目录下有一个scrapy项目的git repo(scrapy.cfg应该在 最高级别)。编辑scrapy.cfg以包含以下内容:

[scrapyd]
application = scrapy_heroku.app.application

[deploy]
url = http://<YOUR_HEROKU_APP_NAME>.herokuapp.com:80/
project = <YOUR_PROJECT_NAME>
username = <A_USER_NAME>
password = <A_PASSWORD>

添加包含scrapy-heroku的requirements.txt文件。它是强烈的 建议你版本的pin scrapy heroku以及版本的scrapy that 您的项目是根据(pip freeze>;requirements.txt)开发的。最后创建一个 procfile,包含:

web: scrapy server

确保您的Postgres数据库已升级到数据库URL

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
这个简单java程序的继承结果?   当用户单击任务栏中的“显示桌面”图标时,java JDialog会自动隐藏   Android studio没有重构中的支持类。java和。重构到安卓x后的xml文件   java在底层API中生成id   java嵌入google hangout api   java应用程序在点击带有空编辑文本的按钮后崩溃   java如何在DrJava中测试异常?   java什么是EJB2。x支持结束日期?   java Dijkstra算法仿真   java JavaFX Webview内容安全策略   javascript需要帮助将JS移植到Java   Java中使用BouncyCastle生成数字签名的证书   java Eclipse插件:org/Eclipse/jdt/ui/JavaUI上的NoClassDefFoundError   playframework在Java Play Framework中扩展默认访问第三方方法   Java HashMap奇怪的行为值在if语句后发生变化   java Kafka使用者不使用来自安全Kafka群集的消息   java为什么要使用JPanelFixture。组合框()。按andreleaseKeys()可以使用FEST,但不能使用AssertJ?   用Spring实现java调用数据库函数