用于向amazon sqs实例输出废弃项的scrapy扩展
scrapy-sqs-exporter的Python项目详细描述
废品SQS出口商
这是Scrapy的一个扩展，允许将废弃项导出到amazon sqs实例。
设置
安装包后，需要将库中定义的两个类添加到相关的 设置文件的部分：
FEED_EXPORTERS = {
'sqs': 'sqsfeedexport.SQSExporter'
}
FEED_STORAGES = {
'sqs': 'sqsfeedexport.SQSFeedStorage'
}
FEED_STORAGES部分使用前缀为sqs的url将其与其他基于uri的存储区区分开来 选项。
在环境中，我们还需要定义一些键：
AWS_DEFAULT_REGION=eu-central-1 AWS_ACCESS_KEY_ID=... AWS_SECRET_ACCESS_KEY=... FEED_URI=sqs://foo FEED_FORMAT=sqs
AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY是要使用的aws凭据，以及AWS_DEFAULT_REGION 是SQS实例的默认区域。FEED_URI是 AWS_DEFAULT_REGION区域例如：
AWS_DEFAULT_REGION=us-east-1 FEED_URI=sqs://bar FEED_FORMAT=sqs
将引用us-east-1区域中的队列名称bar。
最后，FEED_FORMAT选项使scrapy spider使用sqsexporter类。
欢迎加入QQ群-->： 979659372
