在 Visual Studio Code 中对联机终结点进行本地调试

本指南假定你已在本地 PC 上安装了以下各项。

• Docker
• Visual Studio Code
• Azure CLI
• Azure CLI ml 扩展 (v2)

有关详细信息，请参阅如何准备系统以部署联机终结点指南。

本文中的示例基于 azureml-examples GitHub 存储库中包含的代码示例。 若要在不复制/粘贴 YAML 和其他文件的情况下在本地运行命令，请克隆存储库，然后将目录更改为 azureml-examples/cli：

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples/cli

如果尚未为 Azure CLI 指定默认设置，则应保存默认设置。 若要避免多次传入订阅、工作区和资源组的值，请使用以下命令。 将以下参数替换为特定配置的值：

• 将 <subscription> 替换为你的 Azure 订阅 ID。
• 将 <workspace> 替换为 Azure 机器学习工作区名称。
• 将 <resource-group> 替换为包含你的工作区的 Azure 资源组。
• 将 <location> 替换为包含你的工作区的 Azure 区域。

az account set --subscription <subscription>
az configure --defaults workspace=<workspace> group=<resource-group> location=<location>

适用范围：Python SDK azure-ai-ml v2（最新版）

本指南假定你已在本地 PC 上安装了以下各项。

• Docker
• Visual Studio Code
• Azure CLI
• Azure CLI ml 扩展 (v2)
• Azure 机器学习 Python SDK (v2)

有关详细信息，请参阅如何准备系统以部署联机终结点指南。

本文中的示例可在 azureml-examples 存储库中名为在 Visual Studio Code 中对联机终结点进行本地调试的 Jupyter 笔记本中找到。 若要在本地运行代码，请克隆存储库，然后将目录更改为笔记本的父目录 sdk/endpoints/online/managed。

git clone https://github.com/Azure/azureml-examples --depth 1
cd azureml-examples
cd sdk/python/endpoints/online/managed

打开 Jupyter 笔记本并导入所需的模块：

from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    ManagedOnlineEndpoint,
    ManagedOnlineDeployment,
    Model,
    CodeConfiguration,
    Environment,
)
from azure.identity import DefaultAzureCredential

设置工作区和终结点的变量：

subscription_id = "<SUBSCRIPTION_ID>"
resource_group = "<RESOURCE_GROUP>"
workspace_name = "<AML_WORKSPACE_NAME>"

endpoint_name = "<ENDPOINT_NAME>"

Azure 机器学习本地终结点使用 Docker 和 Visual Studio Code 开发容器来生成和配置本地调试环境。 使用开发容器可以利用 Docker 容器中的 Visual Studio Code 功能。 有关开发容器的详细信息，请参阅创建开发容器。

若要在 Visual Studio Code 中对联机终结点进行本地调试，请在创建或更新 Azure 机器学习联机部署时使用 --vscode-debug 标志。 以下命令使用示例存储库中的部署示例：

az ml online-deployment create --file endpoints/online/managed/sample/blue-deployment.yml --local --vscode-debug

Docker 映像是在本地生成的。 此过程阶段会出现任何环境配置或模型文件错误。

成功生成映像后，开发容器将在 Visual Studio Code 窗口中打开。

你将使用几个 Visual Studio Code 扩展，在开发容器中调试你的部署。 Azure 机器学习在开发容器中自动安装这些扩展。

• 推理调试
• Pylance
• Jupyter
• Python

Azure 机器学习本地终结点使用 Docker 和 Visual Studio Code 开发容器来生成和配置本地调试环境。 使用开发容器可以利用 Docker 容器中的 Visual Studio Code 功能。 有关开发容器的详细信息，请参阅创建开发容器。

获取工作区的句柄：

credential = DefaultAzureCredential()
ml_client = MLClient(
    credential,
    subscription_id=subscription_id,
    resource_group_name=resource_group,
    workspace_name=workspace_name,
)

若要在 Visual Studio Code 中对联机终结点进行本地调试，请在创建或更新 Azure 机器学习联机部署时设置 vscode-debug 和 local 标志。 以下代码反映了示例存储库中的部署示例：

deployment = ManagedOnlineDeployment(
    name="blue",
    endpoint_name=endpoint_name,
    model=Model(path="../model-1/model"),
    code_configuration=CodeConfiguration(
        code="../model-1/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-1/environment/conda.yml",
        image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1",
    ),
    instance_type="Standard_DS2_v2",
    instance_count=1,
)

deployment = ml_client.online_deployments.begin_create_or_update(
    deployment,
    local=True,
    vscode_debug=True,
)

Docker 映像是在本地生成的。 此过程阶段会出现任何环境配置或模型文件错误。

成功生成映像后，开发容器将在 Visual Studio Code 窗口中打开。

你将使用几个 Visual Studio Code 扩展，在开发容器中调试你的部署。 Azure 机器学习在开发容器中自动安装这些扩展。

• 推理调试
• Pylance
• Jupyter
• Python

现在，应用程序正在调试程序中运行，请尝试预测以调试评分脚本。

使用 ml 扩展 invoke 命令向本地终结点发出请求。

az ml online-endpoint invoke --name <ENDPOINT-NAME> --request-file <REQUEST-FILE> --local

在本例中，<REQUEST-FILE> 是一个 JSON 文件，它包含可供模型进行预测的输入数据示例，该文件类似于以下 JSON：

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

az ml online-endpoint show --name <ENDPOINT-NAME> --local

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

此时将捕获 run 函数中的所有断点。 使用调试操作以逐步执行代码。 有关调试操作的详细信息，请参阅调试操作指南。

现在，应用程序正在调试程序中运行，请尝试预测以调试评分脚本。

对 MLClient 对象使用 invoke 方法向本地终结点发出请求。

endpoint = ml_client.online_endpoints.get(name=endpoint_name, local=True)

request_file_path = "../model-1/sample-request.json"

ml_client.online_endpoints.invoke(endpoint_name, request_file_path, local=True)

在本例中，<REQUEST-FILE> 是一个 JSON 文件，它包含可供模型进行预测的输入数据示例，该文件类似于以下 JSON：

{"data": [
    [1,2,3,4,5,6,7,8,9,10], 
    [10,9,8,7,6,5,4,3,2,1]
]}

print(endpoint)

{
 "auth_mode": "aml_token",
 "location": "local",
 "name": "my-new-endpoint",
 "properties": {},
 "provisioning_state": "Succeeded",
 "scoring_uri": "http://localhost:5001/score",
 "tags": {},
 "traffic": {},
 "type": "online"
}

此时将捕获 run 函数中的所有断点。 使用调试操作以逐步执行代码。 有关调试操作的详细信息，请参阅调试操作指南。

对应用程序进行调试和故障排除时，某些方案中需要更新评分脚本和配置。

若要对代码应用更改：

1. 更新代码。
2. 使用命令面板中的 Developer: Reload Window 命令重新启动调试会话。 有关详细信息，请参阅命令面板文档。

对于涉及环境和终结点配置更新的更多更改，请使用 ml 扩展 update 命令。 执行此操作会触发一个完整映像的重新生成，该映像包含所做的更改。

az ml online-deployment update --file <DEPLOYMENT-YAML-SPECIFICATION-FILE> --local --vscode-debug

生成更新的映像并启动开发容器后，请使用 Visual Studio Code 调试程序对更新的终结点进行测试和故障排除。

对应用程序进行调试和故障排除时，某些方案中需要更新评分脚本和配置。

若要对代码应用更改：

1. 更新代码。
2. 使用命令面板中的 Developer: Reload Window 命令重新启动调试会话。 有关详细信息，请参阅命令面板文档。

对于涉及环境和终结点配置更新的更多更改，请使用 MLClient 的 online_deployments.update 模块/方法。 执行此操作会触发一个完整映像的重新生成，该映像包含所做的更改。

new_deployment = ManagedOnlineDeployment(
    name="green",
    endpoint_name=endpoint_name,
    model=Model(path="../model-2/model"),
    code_configuration=CodeConfiguration(
        code="../model-2/onlinescoring", scoring_script="score.py"
    ),
    environment=Environment(
        conda_file="../model-2/environment/conda.yml",
        image="mcr.microsoft.com/azureml/openmpi3.1.2-ubuntu18.04:20210727.v1",
    ),
    instance_type="Standard_DS2_v2",
    instance_count=2,
)

ml_client.online_deployments.update(new_deployment, local=True, vscode_debug=True)

生成更新的映像并启动开发容器后，请使用 Visual Studio Code 调试程序对更新的终结点进行测试和故障排除。