将大型数据发送到AWS Lambda函数

2024-07-03 06:27:26 发布

您现在位置:Python中文网/ 问答频道 /正文

我计划通过修改aws3bucket上的对象来调用AWS Lambda函数。我还需要向AWS Lambda函数发送大量数据。如何以有效的方式将数据发送给it部门?在


Tags: 数据对象lambda函数aws方式it计划
3条回答

我将使用另一个s3bucket首先发送数据,然后从Lambda函数使用它

Lambda函数应该只读取大数据所在的数据库。在

假设S3上修改过的对象包含(在对象内部或作为对象名)某种类型的外键,这些外键指向需要从数据库中取出的数据:

A) 如果Lambda可以直接访问数据库:那么您可以让Lambda函数直接查询数据库来提取数据。

B) 如果Lambda不能直接访问数据库:那么考虑根据需要将数据从数据库克隆到一个安全的S3存储桶中,以便Lambda在触发/需要时进行访问。将数据以JSON的形式克隆到S3,或者将其他易于阅读的格式作为业务案例(订单、客户等)的逻辑对象。如果您的用例可能的话,这种方法将是Lambda最快/最有效的方法。在

最近,我在调用lambda函数之前对数据进行了gzip压缩。对于大多数编程语言来说,这是非常容易做到的。根据您的数据库内容,这将是一个更好或更糟的解决方案。我数据库的内容有很多重复的数据,压缩得非常好。在

相关问题 更多 >