Kedro的实用程序和扩展的集合

more-kedro的Python项目详细描述


更多kedro:锤子和扳手:

Kedro的实用程序和扩展的集合

安装

$ pip install more-kedro

hooks.TypedParameters

启用参数字典的动态键入和验证。在

用法

通过将TypedParameters钩子添加到KedroContext激活:

^{pr2}$

现在您可以在parameters.yml中指定类型:

training__type:my_project.nodes.model.TrainingParamstraining:num_iter:100learning_rate:0.001

或者如果你通过了TypedParameters(inline=True)

training:type:my_project.nodes.model.TrainingParamsnum_iter:100learning_rate:0.001

第一种方法的好处是可以覆盖conf/local/中的参数值 不必重新指定类型。在

任何具有输入params:training的节点现在都将被注入 相当于TrainingParams(num_iter=100, learning_rate=0.001)而不是raw 字典。你可以使用任何自定义类,dataclass, pydantic型号或任何其他型号 调用以获取参数的验证和键入。类型必须包含 类型对象的完整位置和名称,以便可以导入它 从你的项目的根。在

参数是在您的DataCatalog创建后立即键入的,因此任何失败 会在你的凯德罗跑步开始前浮出水面。在

datasets.TryLoadDataSet

使用基础数据集定义来加载和保存的数据集,但如果 引发异常,它返回默认值。如果存在某些 数据对于管道是可选的。在

用法

TryLoadDataSet有两个参数,dataset这是一个普通的数据集定义, 以及可选的default_value,这是加载失败时要返回的值 (默认为None)。catalog.yml中的条目示例:

companies:dataset:type:pandas.CSVDataSetfilepath:"path/to/companies.csv"default_value:null

捐款

如果你有任何有用的Kedro实用程序,比如runner、hook、datasets或其他任何工具-PR非常受欢迎!在

欢迎加入QQ群-->: 979659372 Python中文网_新手群

推荐PyPI第三方库


热门话题
java如何将springboot war部署到debian jetty8   java破坏了函数,即使它看起来是正确的   当MockMvc不可自动编译时,java会有选择地从Spring Security向其应用单个过滤器   java AndroidStudio每秒播放n次生成的声音   JavaJBossSeam:继承的方法被拦截了吗?   ScheduledExecutorService中线程默认名称中池号的java含义   在Java中用递归方法实现类Fibonacci的递归   java虚拟路径/文件夹   java即时与ZoneDateTime。转换到另一时区   用GaussLegendre算法在java中逼近Pi   java RecyclerView findFirstVisibleItemPosition()返回1   java根据当前经过身份验证的用户的角色返回不同的JSON对象   java从内部类访问扩展类的方法   Android程序中的Java语法WRT静态方法   可选参数初始化Java字符串文字时出错