使用气流Python将文件从本地系统上传到googlebucket

Question

所以我用气流来控制这个操作员

from airflow.contrib.operators.file_to_gcs import FileToGoogleCloudStorageOperator

gcp_operator = \
    FileToGoogleCloudStorageOperator(
        task_id='gcp_task',
        src='/Users/john/Documents/tmp',
        dst='gs://constantine-bucket',
        bucket='constantine-bucket',
        google_cloud_storage_conn_id='DataScience',
        mime_type='Folder',
        dag=dag
    )

当我运行这个时，我得到一个错误

^{pr2}$

有人知道如何在气流中运行这个操作员吗？在

Answer 1

听起来像是缺失的依赖关系。您应该能够使用以下工具安装GCP挂钩和操作器：

pip install apache-airflow[gcp_api]

有关详细信息，请参阅此页：https://airflow.apache.org/installation.html