通过

CLI (v2) 联机终结点 YAML 架构

  • 项目

适用于：Azure CLI ml 扩展 v2（当前）

可在托管联机终结点 (https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json) 和 Kubernetes 联机终结点 (https://azuremlschemas.azureedge.net/latest/kubernetesOnlineEndpoint.schema.json) 找到源 JSON 架构。 本文的属性表介绍了托管联机终结点与 Kubernetes 联机终结点之间的差异。 本文中的示例重点介绍托管联机终结点。

注意

本文档中详细介绍的 YAML 语法基于最新版本的 ML CLI v2 扩展的 JSON 架构。 此语法必定仅适用于最新版本的 ML CLI v2 扩展。 可以在 https://azuremlschemasprod.azureedge.net/ 上查找早期扩展版本的架构。

注意

可以参考一个为托管联机终结点完全指定的示例 YAML

YAML 语法

密钥 类型 说明 允许的值 默认值
$schema 字符串 YAML 架构。 如果使用 Azure 机器学习 VS Code 扩展来创作 YAML 文件，则可通过在文件顶部包含 $schema 来调用架构和资源完成操作。
name 字符串 必需。 终结点的名称。 在 Azure 区域级别需是唯一的。

命名规则是在终结点限制下面定义的。
description string 终结点的说明。
tags object 终结点的标记字典。
auth_mode string 用于调用终结点的身份验证方法（数据平面操作）。 使用 key 可执行基于密钥的身份验证。 使用 aml_token 可执行基于 Azure 机器学习令牌的身份验证。 使用 aad_token 进行基于 Microsoft Entra 令牌的身份验证（预览版）。 key、aml_token、aad_token key
compute string 要在其上运行终结点部署的计算目标的名称。 如果要执行托管联机推理，请不要指定此字段。
identity object 用于访问 Azure 资源以进行终结点预配和推理的托管标识配置。
identity.type 字符串 托管标识的类型。 如果类型为 user_assigned，则还必须指定 identity.user_assigned_identities 属性。 system_assigned、user_assigned
identity.user_assigned_identities array 用户分配的标识的完全限定资源 ID 列表。
traffic object 流量表示由不同部署提供服务的请求的百分比。 它由键值对的字典表示，其中键表示部署名称，值表示到该部署的流量百分比。 例如，blue: 90 green: 10 表示 90% 的请求发送到名为 blue 的部署，10% 的请求发送到部署 green。 总流量必须为 0 或总和为 100。 请参阅联机终结点的安全部署，以查看运行中的流量配置。

注意：你无法在联机终结点创建期间设置此字段，因为必须先创建该终结点下的部署，然后才能设置流量。 在使用 az ml online-endpoint update 创建部署后，你可以更新联机终结点的流量；例如 az ml online-endpoint update --name <endpoint_name> --traffic "blue=90 green=10"。
public_network_access 字符串 此标志控制托管终结点的可见性。 当 disabled 时，使用 Azure 机器学习工作区的专用终结点接收入站评分请求，且无法从公用网络访问终结点。 此标志仅适用于托管终结点 enabled、disabled enabled
mirror_traffic string 要镜像到部署的实时流量的百分比。 镜像流量不会更改返回给客户端的结果。 流量的镜像百分比将复制并提交到指定的部署，以便可以收集指标和日志记录，而不影响客户端。 例如，若要检查延迟是否在可接受的范围内，并且没有 HTTP 错误。 它由具有单个键值对的字典表示，其中键表示部署名称，值表示要镜像到部署的流量百分比。 有关详细信息，请参阅使用镜像流量测试部署。

备注

az ml online-endpoint 命令可用于管理 Azure 机器学习联机终结点。

示例

示例 GitHub 存储库中提供了示例。 下面显示了几个示例。

YAML：基本

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-endpoint
auth_mode: key

YAML：系统分配的标识

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-sai-endpoint
auth_mode: key

YAML：用户分配的标识

$schema: https://azuremlschemas.azureedge.net/latest/managedOnlineEndpoint.schema.json
name: my-uai-endpoint
auth_mode: key
identity:
  type: user_assigned
  user_assigned_identities:
    - resource_id: user_identity_ARM_id_place_holder

后续步骤