使用Python的AzureDataFactory增量加载

2024-10-16 20:50:49 发布

您现在位置:Python中文网/ 问答频道 /正文

如何使用python为增量加载创建azure datafactory? 我应该在哪里提到文件加载选项(增量加载:LastModifiedOn)在创建活动或管道时??在

我们可以通过选择“文件加载”选项来使用UI来实现这一点。但是如何使用python实现同样的实用性呢?在

PythonAPI for datafactory是否支持此功能?在


Tags: 文件功能uipythonapifor管道选项azure
2条回答

根据这个blog,您只能通过设置modifiedDatetimeStartmodifiedDatetimeEnd属性从adfsdk获得增量加载特性。在

您可以在azure\u blob\u数据集类的additional_properties中设置上述属性。在

enter image description here

我的调查表明pythonsdk还没有实现这个特性。我使用SDK连接到现有实例并获取了两个示例数据集。我没有找到任何看起来像“上次修改日期”的东西。我试了dataset.serialize()dataset.__dict__dataset.properties.__dict__。我也试过了。在

尝试serialize()非常重要,因为在GUI中生成的JSON和Python生成的JSON之间,应该是对等的。缺少奇偶性表明SDK版本落后于GUI版本。在

更新:SDK正在更新。在

相关问题 更多 >