有没有一种方法可以使用AWS S3将SSEKMSKeyId和服务器端加密传递给scrapy文件管道?

2024-10-03 09:11:53 发布

您现在位置:Python中文网/ 问答频道 /正文

有没有一种方法可以使用AWS S3将SSEKMSKeyId和服务器端加密传递给scrapy FilePipeline,还是需要编写一个单独的管道


Tags: 方法aws管道s3服务器端scrapyfilepipelinessekmskeyid
1条回答
网友
1楼 · 发布于 2024-10-03 09:11:53
  1. 子类scrapy.pipelines.files.S3FilesStore,并在子类中扩展其HEADERS类属性,以使用所需的值定义所需的头

    在您的例子中,相应的头是:X-Amz-Server-Side-EncryptionX-Amz-Server-Side-Encryption-Aws-Kms-Key-Id(您可以在类的源代码中看到头到键的映射,以获取其他头名称)

  2. 子类FilesPipeline,并编辑子类中的STORE_SCHEMES类属性,以将s3指向S3FilesStore子类

  3. 更新ITEM_PIPELINES设置以使用FilesPipeline子类

相关问题 更多 >