我在所有AML工作区使用共享存储帐户。我在每个工作区注册这个存储帐户,并在针对AML compute时使用它来共享数据和库。要安装私有python轮子,我们当前必须在本地下载包并使用Environment.add\u private\u pip\u轮子上载并检索包的远程url。我想知道是否有办法在共享存储帐户中传递对包的引用,而不必将其移动到默认工作区存储帐户。你知道吗
我试图将pip\u packages dependency参数中的完整blob url(例如https://mystorageaccount.blob.core.windows.net/mypackage.whl)传递给TensorFlow estimator类,但实验执行失败,出现404错误:url https://mystorageaccount.blob.core.windows.net/mypackage.whl的指定资源不存在
from azureml.train.dnn import TensorFlow
from azureml.core.runconfig import MpiConfiguration
project_folder = "./myproject"
dependencies = ["https://mystorageaccount.blob.core.windows.net/mypackage.whl"]
script_params={
"--data_dir":data_dir.as_mount(),
"--output_dir":output_data.as_mount(),
"--do_train":"True",
"--do_eval":"False",
"--do_predict":"False",
}
mpiConfig = MpiConfiguration()
mpiConfig.process_count_per_node = 1
estimator= TensorFlow(source_directory=project_folder,
compute_target=compute_target,
script_params=script_params,
entry_script='./train_classifier.py',
node_count=1,
distributed_training=mpiConfig,
pip_packages=dependencies,
framework_version='1.13',
use_gpu=True)
由于存储帐户已经在工作区中注册,我希望能够直接(使用上面的代码)将私有包从共享存储帐户安装到AML compute中,而不必在本地下载它,然后调用Environment.add\u private\u pip\u轮子功能。你知道吗
相反,我得到了以下错误,实验失败了:
(来自-r/azureml环境设置)/康达公司kc80np3o.要求.txt(第1行))由于HTTP错误404客户端错误:指定的资源不存在。对于url:https://mystorageaccount.blob.core.windows.net/mypackage.whl。。。你知道吗
CondaValueError:pip返回错误
如果不想使存储帐户公开可读,可以为whl包创建SAS URL,然后将其传递给pip依赖项。然后服务应该能够访问包。你知道吗
相关问题 更多 >
编程相关推荐