将文件改为Google CloudStorageOp

Question

所以我找到了FileToGoogleCloudStorageOperator，它有助于将文件从本地系统移动到Google云。但有没有类似的气流操作员将整个目录移动到Google云上呢。在

Answer 1

不是正式的，但是创建一个非常容易，您可以使用重用https://github.com/apache/incubator-airflow/blob/master/airflow/contrib/operators/file_to_gcs.py中的大部分逻辑

您可以使用相同的GoogleCloudStorageHook来上载单个文件，然后遍历目录，上载所有文件。这就是GCS的任何目录上传功能都会做的。在

根据通常需要上载的文件量，最好将上载分成多个任务。这样，如果一个上传任务失败，你不必重新启动所有文件的上传。但这取决于你的用例。在