2024-10-03 09:11:53 发布
网友
有没有一种方法可以使用AWS S3将SSEKMSKeyId和服务器端加密传递给scrapy FilePipeline,还是需要编写一个单独的管道
子类scrapy.pipelines.files.S3FilesStore,并在子类中扩展其HEADERS类属性,以使用所需的值定义所需的头
scrapy.pipelines.files.S3FilesStore
HEADERS
在您的例子中,相应的头是:X-Amz-Server-Side-Encryption,X-Amz-Server-Side-Encryption-Aws-Kms-Key-Id(您可以在类的源代码中看到头到键的映射,以获取其他头名称)
X-Amz-Server-Side-Encryption
X-Amz-Server-Side-Encryption-Aws-Kms-Key-Id
子类FilesPipeline,并编辑子类中的STORE_SCHEMES类属性,以将s3指向S3FilesStore子类
FilesPipeline
STORE_SCHEMES
s3
S3FilesStore
更新ITEM_PIPELINES设置以使用FilesPipeline子类
ITEM_PIPELINES
子类
scrapy.pipelines.files.S3FilesStore
,并在子类中扩展其HEADERS
类属性,以使用所需的值定义所需的头在您的例子中,相应的头是:
X-Amz-Server-Side-Encryption
,X-Amz-Server-Side-Encryption-Aws-Kms-Key-Id
(您可以在类的源代码中看到头到键的映射,以获取其他头名称)子类
FilesPipeline
,并编辑子类中的STORE_SCHEMES
类属性,以将s3
指向S3FilesStore
子类更新
ITEM_PIPELINES
设置以使用FilesPipeline
子类相关问题 更多 >
编程相关推荐