导入Databricks笔记本作为库/模块
libif的Python项目详细描述
诽谤
Libify使得在数据库中导入笔记本变得很容易。笔记本导入也可以嵌套以轻松创建复杂的工作流。支持Databricks Runtime 5.5及更高版本。在
<详细信息>- 单击侧栏中的Clusters图标
- 单击群集名称(确保群集正在运行)
- 单击Libraries选项卡
- 单击Install New
- 在Library Source下,选择PyPI
- 在Package下,写入libify
- 单击Install
典型用法
安装包后,将以下代码段添加到笔记本:
在importee笔记本中(要导入的笔记本),在笔记本的end处添加以下单元格。请确保
dbutils.notebook.exit
未在笔记本中的任何位置使用,并且最后一个单元格只包含以下代码段而不包含其他内容:importlibifylibify.exporter(globals())
在在importer notebook(导入其他笔记本的笔记本)中,首先导入
^{pr2}$libify
:然后使用以下代码导入您选择的笔记本:
mod1=libify.importer(globals(),'/path/to/importee1')mod2=libify.importer(globals(),'/path/to/importee2')
在
importee1
和importee2
中定义的所有内容现在将分别包含在名称空间mod1
和{}中,并且可以使用点表示法进行访问,例如 x=mod1.function_defined_in_importee1()
在
Databricks社区云解决方案
Databricks Community Cloud(https://community.cloud.databricks.com)不允许从另一个笔记本调用一个笔记本,但是仍然可以使用以下解决方法导入笔记本。但是,每次创建/重新启动集群时都必须运行以下两个步骤。在
- 在
在importer笔记本中,使用
config
参数调用libify.importer
,作为从上一步获得的字典:importlibifymod1=libify.importer(globals(),config={"key":"T5gRAUduh9uSbhHIrj2c9R4UbrXUt2WiA4aYIpl3gGo=","file":"/tmp/tmpmcoypj24"})
在
- 项目
标签: