如何动态加载kedro数据集对象

2024-10-03 17:27:48 发布

您现在位置:Python中文网/ 问答频道 /正文

我目前正在使用yaml api创建所有带有kedro==15.5的数据集。我希望能够不时动态地查看这些信息。似乎我可以通过io.datasets来获取此信息,它是一个_FrozenDatasets对象。但我不能循环或通过编程访问它

特定用例

具体地说,我想添加一个在数据集上循环的测试,以检查是否有多个目录条目使用相同的文件路径。在不使用eval的情况下,这是可能的吗?目前我认为需要做一些类似的事情

filepaths = {}
for entry_name in io.list()
   eval(f'filepaths[{entry_name}] = io.datasets.{entry_name}'.filepath)

Tags: 数据对象nameioapi信息yaml编程
1条回答
网友
1楼 · 发布于 2024-10-03 17:27:48

不幸的是,我认为AbstractDataSet(它们都是从中定义的)没有filepath属性或构建它的配置。您可以读取ProjectContext配置,但这不包括动态构建的数据集

相关问题 更多 >