有没有办法每天无服务器地更新一个大的聚合表？

Question

我正试图用google工具构建一个大的聚合表，但我对“怎么做”有点迷茫。你知道吗

下面是我想要创建的：我在bigquery中有一个大表。它每天更新大约120万个事件，供每个应用程序用户使用。我想有一个自动更新聚合表（udpated每天一次）与所有用户数据打破了userID建立。但是我如何不断地更新其中的数据呢？你知道吗

我读了一些关于firebase和bigquery的文章，但是由于它们对我来说是非常新的，我不知道这是否可以无服务器地实现？你知道吗

我知道如何使用jenkins进程来完成这项工作，该进程查询最后一天的big events表，获取所有userid，与userid的现有聚合值中的数据连接，获取任何更改的内容，并从聚合中删除，以便插入更新的数据。（用python）

问题是我想完全在谷歌的架构内完成这项工作。firebase能做到吗？bigquery是否可以？怎样？什么工具？是否可以使用可用的无服务器功能解决此问题？你知道吗

我对红移比较熟悉。你知道吗

Answer 1

您可以使用一个非常新的BigQuery特性来schedule queries。 我用它来创建汇总表。如果你需要更多的定制内容，你可以使用cloud scheduler调用任何可以由HTTP request触发的Google产品，比如云函数、云运行或应用引擎。你知道吗