从存储帐户安装专用python控制盘

2024-10-04 05:20:25 发布

您现在位置:Python中文网/ 问答频道 /正文

我在所有AML工作区使用共享存储帐户。我在每个工作区注册这个存储帐户,并在针对AML compute时使用它来共享数据和库。要安装私有python轮子,我们当前必须在本地下载包并使用Environment.add\u private\u pip\u轮子上载并检索包的远程url。我想知道是否有办法在共享存储帐户中传递对包的引用,而不必将其移动到默认工作区存储帐户。你知道吗

我试图将pip\u packages dependency参数中的完整blob url(例如https://mystorageaccount.blob.core.windows.net/mypackage.whl)传递给TensorFlow estimator类,但实验执行失败,出现404错误:url https://mystorageaccount.blob.core.windows.net/mypackage.whl的指定资源不存在

from azureml.train.dnn import TensorFlow
from azureml.core.runconfig import MpiConfiguration

project_folder = "./myproject"

dependencies = ["https://mystorageaccount.blob.core.windows.net/mypackage.whl"]

script_params={
  "--data_dir":data_dir.as_mount(),
  "--output_dir":output_data.as_mount(),
  "--do_train":"True",
  "--do_eval":"False",
  "--do_predict":"False",
}

mpiConfig = MpiConfiguration()
mpiConfig.process_count_per_node = 1
estimator= TensorFlow(source_directory=project_folder,
                      compute_target=compute_target,
                      script_params=script_params,
                      entry_script='./train_classifier.py',
                      node_count=1,
                      distributed_training=mpiConfig,
                      pip_packages=dependencies,
                      framework_version='1.13',
                      use_gpu=True)

由于存储帐户已经在工作区中注册,我希望能够直接(使用上面的代码)将私有包从共享存储帐户安装到AML compute中,而不必在本地下载它,然后调用Environment.add\u private\u pip\u轮子功能。你知道吗

相反,我得到了以下错误,实验失败了:

(来自-r/azureml环境设置)/康达公司kc80np3o.要求.txt(第1行))由于HTTP错误404客户端错误:指定的资源不存在。对于url:https://mystorageaccount.blob.core.windows.net/mypackage.whl。。。你知道吗

CondaValueError:pip返回错误


Tags: piphttpscoreurlnetwindows错误script