GCP：在哪里调度写入BigQuery的PubSub订阅服务器

Question

我需要用Python从PubSub写入BigQuery。我测试了一些异步订户代码，它工作得很好。但这需要持续运行，我不能百分之百确定在哪里安排这个。我一直在使用cloudcomposer（flow），但它看起来并不理想，而且它看起来像是GCP推荐的Dataflow？对吗？在

或者有没有一种方法可以从cloudcomposer可靠地运行它？我想我可以运行它一次，但我想确保它再次运行，以防它由于某种原因失败。在

Answer 1

实现这个目标的两个最佳方法是使用Cloud Functions或使用Cloud Dataflow。对于云函数，可以在Pub/Sub主题上设置触发器，然后在代码中写入BigQuery。它看起来类似于tutorial on streaming from Cloud Storage to BigQuery，只是输入的是Pub/Sub消息。对于数据流，可以使用Google-provided, open-source templates to write Pub/Sub messages to BigQuery之一。在

如果您的吞吐量很高（每秒数千条消息）并且一致，那么云数据流可能更适合。如果您的吞吐量较低或不经常使用，云功能可能更适合您。这些解决方案中的任何一个都将持续运行，并在可用时将消息写入BigQuery。在