如何在数据工厂中给出databricks文件路径

Question

enter image description hereI'm retrieving notebook path using stored procedure then executing that Databricks notebook using data factory but I'm getting error as message": "Invalid notebook_path: {\"effectiveIntegrationRuntime\":\"DefaultIntegrationRuntime (West Europe)\",\"executionDuration\":0,\"durationInQueue\":{\"integrationRuntimeQueue\":1},\"billingReference\":{\"activityType\":\"ExternalActivity\",\"billableDuration\":{\"Managed\":0.016666666666666666}}}. Only absolute paths are currently supported. Paths must begin with '/'. . Please help me on this

Answer 1

这个问题有两个方面：

1. 从存储过程中检索返回值
2. 在Databricks活动中使用返回值

第1部分： 请尝试从查找活动中使用存储过程，而不是从存储过程活动中使用。不同之处在于，查找活动希望返回数据，并将其公开。存储过程活动不需要返回数据，因此可能不会公开任何返回的值。（请参阅查找活动设置中“使用查询”下的“存储过程”选项。）

要简化开发/故障排除过程，请将设置变量活动连接到查找活动。Lookup活动返回数组中的数据，因此让我们使用数组类型变量。@activity('Lookup1').output.value。你知道吗

数组不适合在Databricks活动中使用，因此让我们从数组中提取路径。使用字符串类型变量将第二个集合变量活动连接到第一个集合变量活动。使用调试运行并检查第一组变量activity的输出；确定是否存在键值对。在我的测试用例中，我有一个键值对，其中键是空字符串。@string(first(variables('arrayoutput'))[''])

第2部分： 既然第二个变量包含路径，那么让我们参数化并使用Databricks活动。如果路径不是以“/”开头，则需要在Databricks Notebook活动的设置中的Notebook path中预先使用此动态表达式@concat('/',variables('singleoutput'))。你知道吗

Answer 2

确保在Databricks活动中指定了笔记本路径。你知道吗

这是Azure数据工厂中的例外行为。你知道吗

错误代码：3201

• 消息：缺少必填字段：settings.task.u任务.u路径。你知道吗
• 原因：编写错误：未正确指定笔记本路径。你知道吗
• 建议：在Databricks活动中指定笔记本路径。你知道吗

有关详细信息，请参阅“Run a Databricks notebook with the Databricks Notebook activity in Azure Data Factory”

希望这有帮助。你知道吗