使用虚拟网络保护 Azure 机器学习训练环境

适用于：Python SDK azure-ai-ml v2（当前版本）

Azure 机器学习计算实例、无服务器计算和计算群集可用于在 Azure 虚拟网络中安全地训练模型。 规划环境时，可以使用或不使用公共 IP 地址配置计算实例/群集或无服务器计算。 两者之间的一般区别如下：

• 无公共 IP：可降低成本，因为它不具有相同的网络资源要求。 通过删除来自 Internet 的入站流量的要求来提高安全性。 但是，若要启用对所需资源（Microsoft Entra ID、Azure 资源管理器等）的出站访问，还需要进行其他配置更改。
• 公共 IP：默认有效，但由于额外的 Azure 网络资源，成本更高。 需要通过公共 Internet 从 Azure 机器学习服务进行入站通信。

下表包含这些配置之间的差异：

还可以使用 Azure Databricks 或 HDInsight 在虚拟网络中训练模型。

本文是介绍如何保护 Azure 机器学习工作流系列文章的一部分。 请参阅本系列中的其他文章：

• 虚拟网络概述
• 保护工作区资源
• 保护推理环境
• 启用工作室功能
• 使用自定义 DNS
• 使用防火墙

有关创建安全工作区的教程，请参阅教程：创建安全工作区、Bicep 模板或 Terraform 模板。

本文介绍如何在虚拟网络中保护以下训练计算资源：

先决条件

• 阅读网络安全概述一文，了解常见的虚拟网络方案和总体虚拟网络体系结构。

• 用于计算资源的现有虚拟网络和子网。 该 VNet 必须与 Azure 机器学习工作区位于同一订阅。

  • 建议将工作区和训练作业使用的存储帐户放在计划用于计算实例、无服务器计算和群集的同一 Azure 区域中。 如果它们不在同一 Azure 区域中，可能会产生数据传输成本并增加网络延迟。
  • 确保 VNet 中的 *.instances.ml.azure.cn 和 *.instances.ml.azure.cn 允许 WebSocket 通信。 WebSocket 由 Jupyter 在计算实例上使用。

• 虚拟网络中的现有子网。 此子网用于为无服务器计算创建计算实例、群集和节点。

  • 请确保该子网未委托给其他 Azure 服务。
  • 请确保该子网包含足够的可用 IP 地址。 每个计算实例只需要一个 IP 地址。 计算群集中的每个节点以及每个无服务器计算节点都需要一个 IP 地址。

• 如果你有自己的 DNS 服务器，建议使用 DNS 转发来解析计算实例和群集的完全限定的域名 (FQDN)。 有关详细信息，请参阅将自定义 DNS 与 Azure 机器学习配合使用。

• 若要将资源部署到虚拟网络或子网中，你的用户帐户必须在 Azure 基于角色的访问控制 (Azure RBAC) 中具有以下操作的权限：

  • 虚拟网络资源上的“Microsoft.Network/*/read”。 对于 Azure 资源管理器 (ARM) 模板部署，不需要此权限。
  • “Microsoft.Network/virtualNetworks/join/action”（在虚拟网络资源上）。
  • "Microsoft.Network/virtualNetworks/subnets/join/action"（在子网资源上）。

  若要详细了解如何将 Azure RBAC 与网络配合使用，请参阅网络内置角色

限制

• Azure Lighthouse 不支持虚拟网络中的计算群集/实例和无服务器计算部署。

• 在训练期间，必须打开端口 445，以便在计算实例与默认存储帐户之间进行专用网络通信。 例如，如果计算在一个 VNet 中，存储帐户在另一个 VNet 中，请不要阻止存储帐户 VNet 的端口 445。

与工作区位于不同 VNet/区域的计算群集

要在与工作区虚拟网络位于不同区域的 Azure 虚拟网络中创建计算群集，可以通过几种方式在两个 VNet 之间启用通信。

• 使用 VNet 对等互连。
• 在将要包含计算群集的虚拟网络中为工作区添加专用终结点。

方案：VNet 对等互连

1. 将工作区配置为使用 Azure 虚拟网络。 有关详细信息，请参阅保护工作区资源。

2. 创建将用于计算群集的第二个 Azure 虚拟网络。 它可以与用于工作区的群集位于不同的 Azure 区域中。

3. 配置两个 VNet 之间的 VNet 对等互连。

   提示

   等到 VNet 对等互连状态为“已连接”后再继续。

4. 修改 privatelink.api.azureml.ms DNS 区域，将链接添加到计算群集的 VNet。 此区域由 Azure 机器学习工作区使用专用终结点参与 VNet 时创建。

   1. 将新的虚拟网络链接添加到 DNS 区域。 可以通过多种方法执行此操作：

      • 在 Azure 门户中，导航到 DNS 区域，然后选择“虚拟网络链接”。 然后选择“+ 添加”，随后选择为计算群集创建的 VNet。
      • 通过 Azure CLI 使用 az network private-dns link vnet create 命令。 有关详细信息，请参阅 az network private-dns link vnet create。
      • 通过 Azure PowerShell 使用 New-AzPrivateDnsVirtualNetworkLink 命令。 有关详细信息，请参阅 New-AzPrivateDnsVirtualNetworkLink。

5. 对 privatelink.notebooks.chinacloudapi.cn DNS 区域重复上一步和子步骤。

6. 配置以下 Azure 资源以允许从两个 VNet 进行访问。

   • 工作区的默认存储帐户。
   • 工作区的 Azure 容器注册表。
   • 工作区的 Azure 密钥保管库。

   提示

   可以通过多种方式将这些服务配置为允许访问 VNet。 例如，你可以为两个 VNet 中的每个资源创建专用终结点。 或者，可以将资源配置为允许从两个 VNet 进行访问。

7. 使用 VNet 时，可以像平常一样创建计算群集，但请选择为计算群集创建的 VNet。 如果 VNet 位于其他区域，请在创建计算群集时选择该区域。

   警告

   在设置区域时，如果它是你的工作区或数据存储所在区域以外的区域，则可能会出现网络延迟加重和数据传输成本增加的情况。 在创建群集以及在该群集上运行作业时，可能会存在这样的延迟和成本。

方案：专用终结点

1. 将工作区配置为使用 Azure 虚拟网络。 有关详细信息，请参阅保护工作区资源。

2. 创建将用于计算群集的第二个 Azure 虚拟网络。 它可以与用于工作区的群集位于不同的 Azure 区域中。

3. 在包含计算群集的 VNet 中为工作区创建新的专用终结点。

   • 若要使用 Azure 门户添加新的专用终结点，请选择工作区，然后选择“网络”。 选择“专用终结点连接”、“+ 专用终结点”，然后使用字段创建新的专用终结点。

     • 选择“区域”时，请选择与虚拟网络相同的区域。
     • 选择“资源类型”时，请使用“Microsoft.MachineLearningServices/workspaces” 。
     • 将“资源”设置为工作区名称。
     • 将虚拟网络和子网设置为你为计算群集创建的 VNet 和子网。

     最后，选择“创建”以创建专用终结点。

   • 要使用 Azure CLI 添加新的专用终结点，请使用 az network private-endpoint create。 有关使用此命令的示例，请参阅为 Azure 机器学习工作区配置专用终结点。

4. 使用 VNet 时，可以像平常一样创建计算群集，但请选择为计算群集创建的 VNet。 如果 VNet 位于其他区域，请在创建计算群集时选择该区域。

   警告

   在设置区域时，如果它是你的工作区或数据存储所在区域以外的区域，则可能会出现网络延迟加重和数据传输成本增加的情况。 在创建群集以及在该群集上运行作业时，可能会存在这样的延迟和成本。

没有公共 IP 的计算实例/群集或无服务器计算

以下配置是对先决条件部分所列配置的补充，并且特定于创建没有配置公共 IP 的计算实例/群集。 它们也适用于无服务器计算：

• 必须使用计算资源的工作区专用终结点才能从 VNet 与 Azure 机器学习服务进行通信。 有关详细信息，请参阅为 Azure 机器学习工作区配置专用终结点。

• 在 VNet 中，允许流向以下服务标记或完全限定的域名 (FQDN) 的出站流量：

  服务标记	协议	端口	说明
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	与 Azure 机器学习服务通信。
  BatchNodeManagement.<region>	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。 计算实例和计算群集是使用 Azure Batch 服务实现的。
  Storage.<region>	TCP	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 此服务标记用于与 Azure Batch 使用的 Azure 存储帐户通信。

  重要

  对 Storage.<region> 的出站访问可能会导致工作区的数据外泄。 通过使用服务终结点策略，你可以缓解此漏洞的问题。 有关详细信息，请参阅 Azure 机器学习数据外泄防护一文。

  FQDN	协议	端口	说明
  <region>.tundra.ml.azure.cn	UDP	5831	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。
  microsoftgraph.chinacloudapi.cn	TCP	443	与 Microsoft Graph API 通信。
  *.instances.ml.azure.cn	TCP	443/8787/18881	与 Azure 机器学习进通信。
  *.<region>.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.<region>.service.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.blob.core.chinacloudapi.cn	TCP	443	与 Azure Blob 存储通信。
  *.queue.core.chinacloudapi.cn	TCP	443	与 Azure 队列存储通信。
  *.table.core.chinacloudapi.cn	TCP	443	与 Azure 表存储通信。

• 默认情况下，配置为无公共 IP 的计算实例/群集不具有对 Internet 的出站访问。 如果你可以从它访问 Internet，则这是因为 Azure 默认出站访问，并且你有一个 NSG 允许出站到 Internet。 但是，我们不建议使用默认出站访问。 如果需要对 Internet 的出站访问，则建议改用防火墙和出站规则或 NAT 网关和网络服务组来允许出站流量。

  若要详细了解如何保护 Azure 机器学习所用的出站流量，请参阅以下文章：

  • 配置入站和出站网络流量。
  • Azure 的出站连接方法。

  有关可与 Azure 防火墙配合使用的服务标记的详细信息，请参阅虚拟网络服务标记一文。

使用以下信息创建没有公共 IP 地址的计算实例或群集：

# create a compute cluster with no public IP
az ml compute create --name cpu-cluster --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type AmlCompute --set enable_node_public_ip=False

# create a compute instance with no public IP
az ml compute create --name myci --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type ComputeInstance --set enable_node_public_ip=False

from azure.ai.ml.entities import AmlCompute, NetworkSettings

network_settings = NetworkSettings(vnet_name="<vnet-name>", subnet="<subnet-name>")
compute = AmlCompute(
    name=cpu_compute_target,
    size="STANDARD_D2_V2",
    min_instances=0,
    max_instances=4,
    enable_node_public_ip=False,
    network_settings=network_settings
)
ml_client.begin_create_or_update(entity=compute)

使用以下信息为给定工作区配置没有公共 IP 地址的无服务器计算节点：

az ml workspace create -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

name: testserverlesswithnpip
location: eastus
public_network_access: Disabled
serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: true

az ml workspace update -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: true

from azure.ai.ml import MLClient
from azure.ai.ml.entities import ServerlessComputeSettings, Workspace
from azure.identity import DefaultAzureCredential

subscription_id = <sub id>
resource_group = <resource group>
workspace_name = <workspace name>
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group
)

workspace = Workspace(
    name=workspace_name,
    serverless_compute=ServerlessComputeSettings(
        custom_subnet=<subnet id>,
        no_public_ip=true,
    )
)

workspace = ml_client.workspaces.begin_update(workspace)

有公共 IP 的计算实例/群集或无服务器计算

以下配置是对先决条件部分所列配置的补充，并且特定于创建具有公共 IP 的计算实例/群集。 它们也适用于无服务器计算：

• 如果将多个计算实例/群集置于一个虚拟网络中，可能需要请求为一个或多个资源增加配额。 机器学习计算实例或群集自动在包含虚拟网络的资源组中分配网络资源。 对于每个计算实例或群集，此服务分配以下资源：

  • 系统会自动创建网络安全组 (NSG)。 此 NSG 允许 AzureMachineLearning 服务标记中端口 44224 上的入站 TCP 流量。

    重要

    计算实例和计算群集会自动创建具有所需规则的 NSG。

    如果在子网级别具有其他 NSG，则子网级别的 NSG 中的规则不得与自动创建的 NSG 中的规则相冲突。

    若要了解 NSG 如何筛选网络流量，请参阅网络安全组如何筛选网络流量。

  • 一个负载均衡器

  对于计算群集，每当群集纵向缩减到 0 个节点时，将删除这些资源，而当群集横向扩展时，将创建这些资源。

  对于计算实例，这些资源将一直保留，直到该实例被删除。 停止实例不会删除资源。

  重要

  这些资源受订阅的资源配额限制。 如果虚拟网络资源组被锁定，则删除计算群集/实例将失败。 在删除计算群集/实例之前，无法删除负载均衡器。 此外，请确保不存在禁止创建网络安全组的 Azure Policy 分配。

• 在 VNet 中，允许 AzureMachineLearning 服务标记中端口 44224 上的入站 TCP 流量。

  重要

  创建计算实例/群集时，会动态为其分配一个 IP 地址。 由于该地址在创建之前是未知的，并且创建过程中需要入站访问，因此无法在防火墙上静态分配该地址。 相反，如果将防火墙与 VNet 配合使用，则必须创建用户定义的路由以允许此入站流量。

• 在 VNet 中，允许流向以下服务标记的出站流量：

  服务标记	协议	端口	说明
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	与 Azure 机器学习服务通信。
  BatchNodeManagement.<region>	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。 计算实例和计算群集是使用 Azure Batch 服务实现的。
  Storage.<region>	TCP	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 此服务标记用于与 Azure Batch 使用的 Azure 存储帐户通信。

  重要

  对 Storage.<region> 的出站访问可能会导致工作区的数据外泄。 通过使用服务终结点策略，你可以缓解此漏洞的问题。 有关详细信息，请参阅 Azure 机器学习数据外泄防护一文。

  FQDN	协议	端口	说明
  <region>.tundra.ml.azure.cn	UDP	5831	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。
  microsoftgraph.chinacloudapi.cn	TCP	443	与 Microsoft Graph API 通信。
  *.instances.ml.azure.cn	TCP	443/8787/18881	与 Azure 机器学习进通信。
  *.<region>.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.<region>.service.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.blob.core.chinacloudapi.cn	TCP	443	与 Azure Blob 存储通信。
  *.queue.core.chinacloudapi.cn	TCP	443	与 Azure 队列存储通信。
  *.table.core.chinacloudapi.cn	TCP	443	与 Azure 表存储通信。

使用以下信息在 VNet 中创建包含公共 IP 地址的计算实例或群集：

# create a compute cluster with a public IP
az ml compute create --name cpu-cluster --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type AmlCompute

# create a compute instance with a public IP
az ml compute create --name myci --resource-group rg --workspace-name ws --vnet-name yourvnet --subnet yoursubnet --type ComputeInstance

from azure.ai.ml.entities import AmlCompute, NetworkSettings

network_settings = NetworkSettings(vnet_name="<vnet-name>", subnet="<subnet-name>")
compute = AmlCompute(
    name=cpu_compute_target,
    size="STANDARD_D2_V2",
    min_instances=0,
    max_instances=4,
    network_settings=network_settings
)
ml_client.begin_create_or_update(entity=compute)

使用以下信息为给定工作区配置有公共 IP 地址的无服务器计算节点：

az ml workspace create -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

name: testserverlesswithvnet
location: eastus
serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: false

az ml workspace update -n <workspace-name> -g <resource-group-name> --file serverlesscomputevnetsettings.yml

serverless_compute:
  custom_subnet: /subscriptions/<sub id>/resourceGroups/<resource group>/providers/Microsoft.Network/virtualNetworks/<vnet name>/subnets/<subnet name>
  no_public_ip: false

from azure.ai.ml import MLClient
from azure.ai.ml.entities import ServerlessComputeSettings, Workspace
from azure.identity import DefaultAzureCredential

subscription_id = <sub id>
resource_group = <resource group>
workspace_name = <workspace name>
ml_client = MLClient(
    DefaultAzureCredential(), subscription_id, resource_group
)

workspace = Workspace(
    name=workspace_name,
    serverless_compute=ServerlessComputeSettings(
        custom_subnet=<subnet id>,
        no_public_ip=false,
    )
)

workspace = ml_client.workspaces.begin_update(workspace)

Azure Databricks

• 该虚拟网络必须与 Azure 机器学习工作区位于同一订阅和区域。
• 如果工作区的 Azure 存储帐户也在虚拟网络中受保护，则它们必须与 Azure Databricks 群集位于同一虚拟网络中。
• 除了 Azure Databricks 使用的 databricks-private 和 databricks-public 子网以外，还需要为虚拟网络创建 default 子网。
• Azure Databricks 不使用专用终结点来与虚拟网络通信。

若要详细了解如何结合使用 Azure Databricks 和虚拟网络，请参阅在 Azure 虚拟网络中部署 Azure Databricks。

虚拟机或 HDInsight 群集

本部分介绍如何将虚拟网络中的虚拟机或 Azure HDInsight 群集用于工作区。

创建 VM 或 HDInsight 群集

使用 Azure 门户或 Azure CLI 创建 VM 或 HDInsight 群集，然后将群集置于 Azure 虚拟网络中。 有关详细信息，请参阅以下文章：

• 为 Linux VM 创建和管理 Azure 虚拟网络

• 使用 Azure 虚拟网络扩展 HDInsight

配置网络端口

允许 Azure 机器学习与 VM 或群集上的 SSH 端口进行通信，为网络安全组配置源条目。 SSH 端口通常是端口 22。 若要允许来自此源的流量，请执行以下操作：

1. 在“源”下拉列表中，选择“服务标记”。

2. 在“源服务标记”下拉列表中，选择“AzureMachineLearning”。

   

3. 在“源端口范围”下拉列表中，选择 。

4. 在“目标”下拉列表中，选择“任何”。

5. 在“目标端口范围”下拉列表中，选择“22”。

6. 在“协议”下，选择“任何”。

7. 在“操作”下，选择“允许”。

保留网络安全组的默认出站规则。 有关详细信息，请参阅安全组中的“默认安全规则”。

如果你不想要使用默认的出站规则，同时想要限制虚拟网络的出站访问，请参阅所需公共 Internet 访问部分。

附加 VM 或 HDInsight 群集

将 VM 或 HDInsight 群集附加到 Azure 机器学习工作区。 有关详细信息，请参阅在工作室中管理用于模型训练和部署的计算资源。

训练模型所需的公共 Internet 访问权限

Azure 机器学习需要对公共 Internet 进行入站和出站访问。 下表概述了需要的访问权限及其用途。 对于以 .region 结尾的服务标记，请将 region 替换为包含你的工作区的 Azure 区域。 例如，Storage.chinanorth：

可能还需要允许出站流量发往 Visual Studio Code 和非 Microsoft 站点，以便安装机器学习项目所需的包。 下表列出了用于机器学习的常用存储库：

将 Azure Kubernetes Service (AKS) 与 Azure 机器学习一起使用时，请允许将以下流量发送到 AKS VNet：

• AKS 的一般入站/出站要求，如限制 Azure Kubernetes 服务中的出口流量一文中所述。
• 发往 mcr.microsoft.com 的出站流量。
• 将模型部署到 AKS 群集时，请遵循将 ML 模型部署到 Azure Kubernetes 服务一文中的指导。

有关使用防火墙解决方案的信息，请参阅在 Azure 机器学习中使用防火墙。

后续步骤

本文是介绍如何保护 Azure 机器学习工作流系列文章的一部分。 请参阅本系列中的其他文章：

• 虚拟网络概述
• 保护工作区资源
• 保护推理环境
• 启用工作室功能
• 使用自定义 DNS
• 使用防火墙