Python中文
首页
教程
问答
标签
搜索
登录
注册
如何在DAG中使用WasbHook从Azure获取blob列表
回答此问题可获得
20
贡献值,回答如果被采纳可获得
50
分。
<p>我有一个用于Azure Blob存储的简单DAG</p> <pre><code>import airflow from airflow import DAG from airflow.contrib.hooks.wasb_hook import WasbHook from airflow.operators.python_operator import PythonOperator azure = WasbHook(wasb_conn_id='connect_to_azure') args = { "owner": "Airflow", "start_date": airflow.utils.dates.days_ago(2)} dag = DAG( dag_id="wasb_sensor_test", default_args=args, schedule_interval=None, tags=['poc', 'azure']) def get_blob_list(): blob_list = azure.check_for_prefix(container_name='MY_CONTAINER_NAME', prefix='MY_PREFIX') print_blob_list = PythonOperator( task_id='get_blob_list', python_callable=get_blob_list, dag=dag) print_blob_list </code></pre> <p>我想得到一个关于适当容器和前缀的BLOB列表。正如我从hook(<a href="https://github.com/apache/airflow/blob/6d612efc7e19fff01b0da98bc345320edde70237/airflow/providers/microsoft/azure/hooks/wasb.py#L73" rel="nofollow noreferrer">https://github.com/apache/airflow/blob/6d612efc7e19fff01b0da98bc345320edde70237/airflow/providers/microsoft/azure/hooks/wasb.py#L73</a>)的代码源所理解的那样,如果调用<strong>check_for_prefix</strong>函数,并添加和附加参数以代替**kwargs,则可以这样做。 差不多</p> <pre><code>blob_list = azure.check_for_prefix(container_name='MY_CONTAINER_NAME', prefix='MY_PREFIX', blob_list_return) </code></pre> <p>但我不知道如何正确地做</p>
0 条评论
分类:
Python问答
请先
登录
后评论
默认排序
时间排序
1 个回答
匿名
1天前
擅长:python、mysql、java
<p>是我的错。<strong>check_for_prefix</strong>函数中**<em>kwargs</em>的所有参数都在调用<strong>BlockBlobService时传递。在函数中列出(…,**<em>kwargs</em>)blobs</p>
请先
登录
后评论
针对此问题:
更多的回答
关注
89
关注
收藏
1
收藏,
216
浏览
网友 提问于 2天前
相关Python问题
为什么在使用strptime时会出现未进行转换的数据错误?
2 回答
为什么在使用strptim时会出现这个datetime日期错误
3 回答
为什么在使用StyleFrame时索引列的标题不显示sf.至excel()?
6 回答
为什么在使用sum()函数时会发生“int”对象不可调用的错误?
7 回答
为什么在使用sympy.dsolve时会得到“'list'对象没有属性'func'”?
10 回答
为什么在使用tabla时会得到一个空的数据帧?
6 回答
为什么在使用tensorboard时需要add_graph()的第二个参数?
2 回答
为什么在使用TensorFlow Lite转换YOLOv4时,推断时间/大小没有改进?有什么可能的改进吗?
8 回答
为什么在使用Tensorflow加载训练批时会出现内存泄漏?
8 回答
为什么在使用tensorflow时会收到警告/错误(使用函数API,但未实现错误)
2 回答
为什么在使用tetpyclient发出POST请求时出现403错误?
3 回答
为什么在使用TextBlob时会出现HTTP错误?
3 回答
为什么在使用TFIDF时出现错误“IndexError:list index out of range”pyspark.ml.feature?
6 回答
为什么在使用timedelta格式化之后,我在python中的日期是错误的?
6 回答
为什么在使用timeit或exec函数时,函数中的变量不会在提供的全局命名空间中搜索?
9 回答
为什么在使用tkinter时不能使用复选框?
6 回答
为什么在使用todoistpythonapi时会返回这个奇怪的ID?
2 回答
为什么在使用TQM时,在调整图像大小时,处理时间会有很大的差异?
1 回答
为什么在使用Tweepy下载用户时间线时收到错误消息
7 回答
为什么在使用twitter帐户登录Django应用程序时重定向127.0.0.1:8000?
5 回答