scrapy-sqs-exporter 1.1.0

废品SQS出口商

这是Scrapy的一个扩展，允许将废弃项导出到amazon sqs实例。

设置

安装包后，需要将库中定义的两个类添加到相关的 设置文件的部分：

FEED_EXPORTERS = {
  'sqs': 'sqsfeedexport.SQSExporter'
}

FEED_STORAGES = {
  'sqs': 'sqsfeedexport.SQSFeedStorage'
}

FEED_STORAGES部分使用前缀为sqs的url将其与其他基于uri的存储区区分开来 选项。

在环境中，我们还需要定义一些键：

AWS_DEFAULT_REGION=eu-central-1
AWS_ACCESS_KEY_ID=...
AWS_SECRET_ACCESS_KEY=...
FEED_URI=sqs://foo
FEED_FORMAT=sqs

AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY是要使用的aws凭据，以及AWS_DEFAULT_REGION 是SQS实例的默认区域。FEED_URI是 AWS_DEFAULT_REGION区域例如：

AWS_DEFAULT_REGION=us-east-1
FEED_URI=sqs://bar
FEED_FORMAT=sqs

将引用us-east-1区域中的队列名称bar。

最后，FEED_FORMAT选项使scrapy spider使用sqsexporter类。