FileSensor中的通配符搜索

Question

我有一个文件路径

fpath = "/path/abc20200216"

abc之后的日期每个月都在变化

现在我想在FileSensor中使用它

file_sensor = FileSensor(task_id= "file_sensor_job", poke_interval= 30, filepath = fpath, run_as_user='xyzzy',dag=dag)

如何在运算符中传递通配符关键字

或者，是否有其他方法可用于使用气流感测远程服务器中的文件

Answer 1

至此PR您可以将文件blob传递给FileSensor的filepath

例如：

prefix = 'abc'

fileblob = os.path.join(os.path.dirname('/path/'), prefix +'*')

file_sensor = FileSensor(task_id= "file_sensor_job", poke_interval= 30, filepath = fileblob, run_as_user='xyzzy',dag=dag)

您还可以从Airflow repo中查看此测试case