你能把JSON写到Snowflake stage吗？

Question

我正在尝试将Elasticsearch数据流到Snowflake中。我正在测试一个python脚本，它最终将作为云函数/docker应用程序部署在AWS上。对于历史，我使用scrollAPI将x个数量的对象写入一个字符串，并将该字符串写入一个文件。我使用了Snowflake的PUT file://file.json.gz @stage，但这意味着我需要在存储到后台之前将文件临时写入磁盘。我有大量的数据要提取，我正试图尽可能多地消除这些步骤。有没有一种厚颜无耻的方式可以让我直接把文件写到舞台上

Answer 1

如果您在保存到S3时创建了一个链接到S3的雪花阶段，无论您决定使用什么，它都会自动出现在雪花阶段，这样，您只需将副本发送到命令并保存一两个步骤即可

在我看来，这是一个简单方便的解决方案

如果你需要这些步骤，请告诉我，我很乐意在这里发布

Answer 2

你可以用雪管。您需要不断创建较小的文件，并使用snowpipe继续上载它们。您可以使用Amazon Kinesis Firehose来管理批次。 请参阅https://docs.snowflake.com/en/user-guide/data-load-considerations-prepare.html#continuous-data-loads-i-e-snowpipe-and-file-sizing和https://docs.aws.amazon.com/firehose/latest/dev/create-configure.html上的文档