使用Dagster收集元数据

Question

每个人

我已经开始使用dagster大约一周了，我对这个工具很着迷。但是，我想知道是否有可能在输出中收集dagster生成的元数据

常规dagster输出如下所示：

2021-06-17 15:12:30-dagster-DEBUG-my_pipeline-47989433-702c-4246-9c8d-ab4c8bab4be6-13936-合并转换-加载的输入-加载的输入-使用输入管理器“io管理器”，从步骤“clean_dzag”的输出“结果”中加载输入“clean_daag_df”

[……]

2021-06-17 15:12:30-dagster-调试-my_管道-47989433-702c-4246-9c8d-ab4c8bab4be6-13936-合并转换-步骤成功-在98ms内完成步骤“合并转换”的执行

我想知道如何访问这些信息，特别是每个实体的开始和完成时间，以及管道运行id，如果可能，还有每个实体执行的id。（我希望将其导出到文件或数据库中，而不仅仅是在屏幕上看到输出）

提前感谢您的帮助

Answer 1

Dagster实际上会自动为您存储这些日志（以结构化格式）。这可以通过在dagster.yaml文件中设置event_log_storage来配置（因此您可以选择它使用的数据库类型），但默认情况下，它们都存储在$DAGSTER_HOME目录中的本地Sqlite数据库中。这里的文档：https://docs.dagster.io/deployment/dagster-instance#event-log-storage进一步解释一下这是如何工作的

我还建议签出Dagit，它与这些存储的事件日志一起工作，以帮助可视化过去的销售执行情况（以及许多其他用途！）