AWS Lambda每天查询一次到红移

Question

我对AWS生态系统相当陌生，尤其是在数据方面

我有一个项目，它要求我每隔24小时自动运行一次对红移表的查询，可能会删除查询结果中的一些列，并使用RESTful API访问第三方站点上的一些端点以进行进一步检查

我有几个问题要问

1. 使用AWS Lambda（Python）和 这样的任务需要红移吗
2. 我应该选择Java还是Python AWS Lambda的NodeJS？哪一个对查询有更好的支持 红移
3. Lambda和Redshift将位于同一VPC中，并且 为出口NAT网关使用相同的专用子网，是吗 安全设置
4. 在此设置中有要共享的示例代码吗
5. AWS Lambda是否有一个每24小时触发一次的常规计划程序？还是仅仅基于事件
6. 由于应用程序数据库位于DynamoDB中，AWS Lambda查询DynamoDB中的类似数据是否更高效、更容易设置

谢谢， 山姆

Answer 1

我将尽力以最好的意图回答你的问题：

1. 是的，没有理由不这样做
2. 这完全取决于你的喜好。所有语言都支持您的用例
3. 这很好。当您使用IAM管理进一步的访问权限时，您只需查看lambda功能的出口流量是否得到了适当的监控
4. 外面有很多。就喝一杯吧
5. 您可以使用CRON字符串设置CloudWatch规则，该字符串将根据需要调用您的函数。此外，您还可以为您的函数设置许多其他触发器，如DynamoDB streams、CloudWatch日志事件等等。。。有无限的可能性
6. 如果您只想定期进行查询以收集一些数据，那么数据实际存储的位置没有区别

Answer 2

通常，您会发现许多AWS工具能够解决相同的问题。 正确的选择取决于你的优先级。你想要什么样的最低成本？效率方便

我回答你的问题如下：

使用AWS Lambda（Python）和Redshift执行此类任务是一种好的使用模式吗？ 是的，没关系。红移通常是一项非常昂贵的服务，您确定需要红移吗

我应该为AWS Lambda选择Java vs Python vs NodeJS吗？哪一个更好地支持查询红移？

如果您想避免冷启动，Java将需要每5分钟左右调用一次事件桥。除此之外，这真的取决于你

Lambda和Redshift将位于同一VPC中，并使用相同的专用子网作为出口NAT网关，这是安全设置吗？ 这没关系，但NAT网关同样昂贵。根据您试图解决的问题，可能会有一些解决方法

在此设置中有要共享的示例代码吗？https://aws.amazon.com/blogs/big-data/building-an-event-driven-application-with-aws-lambda-and-the-amazon-redshift-data-api/

AWS Lambda是否有定期的计划程序，每24小时触发一次？还是仅仅基于事件？ 是的，您可以使用cron或类似工具来使用事件桥编程lambda触发器

由于应用程序数据库位于DynamoDB中，AWS Lambda查询DynamoDB中的类似数据是否更高效、更容易设置？ 我对最后一个问题有点困惑，但通常很容易查询Dynamo fom lambda

编辑：打字错误