使用虚拟网络保护 Azure 机器学习训练环境 (SDKv1)

适用于：Python SDK azureml v1

本文介绍如何使用 Python SDK v1 在 Azure 机器学习中通过虚拟网络保护训练环境。

Azure 机器学习计算实例和计算群集可用于在虚拟网络中安全地训练模型。 规划环境时，可以使用或不使用公共 IP 地址配置计算实例/群集。 两者之间的一般区别如下：

• 无公共 IP：可降低成本，因为它不具有相同的网络资源要求。 通过删除来自 Internet 的入站流量的要求来提高安全性。 但是，若要启用对所需资源（Azure Active Directory、Azure 资源管理器等）的出站访问，还需要进行其他配置更改。
• 公共 IP：默认有效，但由于额外的 Azure 网络资源，成本更高。 需要通过公共 Internet 从 Azure 机器学习服务进行入站通信。

下表包含这些配置之间的差异：

还可以使用 Azure Databricks 或 HDInsight 在虚拟网络中训练模型。

本文介绍如何在虚拟网络中保护以下训练计算资源：

先决条件

• 阅读网络安全概述一文，了解常见的虚拟网络方案和总体虚拟网络体系结构。

• 用于计算资源的现有虚拟网络和子网。 该 VNet 必须与 Azure 机器学习工作区位于同一订阅。

  • 建议将工作区和训练作业使用的存储帐户放在计划用于计算实例和群集的同一 Azure 区域中。 如果它们不在同一 Azure 区域中，可能会产生数据传输成本并增加网络延迟。
  • 确保 VNet 中的 *.instances.ml.azure.cn 和 *.instances.ml.azure.cn 允许 WebSocket 通信。 WebSocket 由 Jupyter 在计算实例上使用。

• 虚拟网络中的现有子网。 创建计算实例和群集时使用此子网。

  • 请确保该子网未委托给其他 Azure 服务。
  • 请确保该子网包含足够的可用 IP 地址。 每个计算实例只需要一个 IP 地址。 计算群集中的每个节点都需要一个 IP 地址。

• 如果你有自己的 DNS 服务器，建议使用 DNS 转发来解析计算实例和群集的完全限定的域名 (FQDN)。 有关详细信息，请参阅将自定义 DNS 与 Azure 机器学习配合使用。

• 若要将资源部署到虚拟网络或子网中，你的用户帐户必须在 Azure 基于角色的访问控制 (Azure RBAC) 中具有以下操作的权限：

  • 虚拟网络资源上的“Microsoft.Network/*/read”。 对于 Azure 资源管理器 (ARM) 模板部署，不需要此权限。
  • “Microsoft.Network/virtualNetworks/join/action”（在虚拟网络资源上）。
  • "Microsoft.Network/virtualNetworks/subnets/join/action"（在子网资源上）。

  若要详细了解如何将 Azure RBAC 与网络配合使用，请参阅网络内置角色

限制

Azure 机器学习计算群集/实例

• 可以在不包含你的工作区的其他区域和 VNet 中创建计算群集。 但是，此功能仅适用于 SDK v2、CLI v2 或工作室。 有关详细信息，请参阅安全训练环境的 v2 版本。

• Azure Lighthouse 不支持虚拟网络中的计算群集/实例部署。

• 在训练期间，必须打开端口 445，以便在计算实例与默认存储帐户之间进行专用网络通信。 例如，如果计算在一个 VNet 中，存储帐户在另一个 VNet 中，请不要阻止存储帐户 VNet 的端口 445。

Azure Databricks

• 该虚拟网络必须与 Azure 机器学习工作区位于同一订阅和区域。
• 如果工作区的 Azure 存储帐户也在虚拟网络中受保护，则它们必须与 Azure Databricks 群集位于同一虚拟网络中。
• 除了 Azure Databricks 使用的 databricks-private 和 databricks-public 子网以外，还需要为虚拟网络创建 default 子网。
• Azure Databricks 不使用专用终结点来与虚拟网络通信。

有关在虚拟网络中使用 Azure Databricks 的详细信息，请参阅在 Azure 虚拟网络中部署 Azure Databricks。

Azure HDInsight 或虚拟机

• Azure 机器学习只支持运行 Ubuntu 的虚拟机。

没有公共 IP 的计算实例/群集

以下配置是对先决条件部分所列配置的补充，并且特定于创建没有配置公共 IP 的计算实例/群集：

• 必须使用计算资源的工作区专用终结点才能从 VNet 与 Azure 机器学习服务进行通信。 有关详细信息，请参阅为 Azure 机器学习工作区配置专用终结点。

• 在 VNet 中，允许流向以下服务标记或完全限定的域名 (FQDN) 的出站流量：

  服务标记	协议	端口	说明
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	与 Azure 机器学习服务通信。
  BatchNodeManagement.<region>	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。 计算实例和计算群集是使用 Azure Batch 服务实现的。
  Storage.<region>	TCP	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 此服务标记用于与 Azure Batch 使用的 Azure 存储帐户通信。

  重要

  对 Storage.<region> 的出站访问可能会导致工作区的数据外泄。 通过使用服务终结点策略，你可以缓解此漏洞的问题。 有关详细信息，请参阅 Azure 机器学习数据外泄防护一文。

  FQDN	协议	端口	说明
  <region>.tundra.ml.azure.cn	UDP	5831	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。
  microsoftgraph.chinacloudapi.cn	TCP	443	与 Microsoft Graph API 通信。
  *.instances.ml.azure.cn	TCP	443/8787/18881	与 Azure 机器学习进通信。
  *.<region>.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.<region>.service.batch.com	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.blob.core.chinacloudapi.cn	TCP	443	与 Azure Blob 存储通信。
  *.queue.core.chinacloudapi.cn	TCP	443	与 Azure 队列存储通信。
  *.table.core.chinacloudapi.cn	TCP	443	与 Azure 表存储通信。

• 创建防火墙和出站规则或 NAT 网关和网络服务组以允许出站流量。 由于计算没有公共 IP 地址，因此如果没有此配置，它将无法与公共 Internet 上的资源通信。 例如，它无法与 Azure Active Directory 或 Azure 资源管理器通信。 从公共源安装 Python 包也需要此配置。

  若要详细了解如何保护 Azure 机器学习所用的出站流量，请参阅以下文章：

  • 配置入站和出站网络流量。
  • Azure 的出站连接方法。

使用以下信息创建没有公共 IP 地址的计算实例或群集：

若要创建没有公共 IP 的计算实例或计算群集，请使用 Azure 机器学习工作室 UI 创建资源：

1. 登录到 Azure 机器学习工作室，然后选择你的订阅和工作区。

2. 在左侧导航栏中选择“计算”页面。

3. 在计算实例或计算群集的导航栏中选择“+ 新建”。

4. 配置 VM 大小和你的需求，然后选择“下一步”。

5. 在“高级设置”中，选择“启用虚拟网络”、你的虚拟网络和子网，最后选择“VNet/子网”部分下的“无公共 IP”选项。

   

具有公共 IP 的计算实例/群集

以下配置是对先决条件部分所列配置的补充，并且特定于创建具有公共 IP 的计算实例/群集：

• 如果将多个计算实例/群集置于一个虚拟网络中，可能需要请求为一个或多个资源增加配额。 机器学习计算实例或群集自动在包含虚拟网络的资源组中分配网络资源。 对于每个计算实例或群集，此服务分配以下资源：

  • 系统会自动创建网络安全组 (NSG)。 此 NSG 允许 AzureMachineLearning 服务标记中端口 44224 上的入站 TCP 流量。

    重要

    计算实例和计算群集会自动创建具有所需规则的 NSG。

    如果在子网级别具有其他 NSG，则子网级别的 NSG 中的规则不得与自动创建的 NSG 中的规则相冲突。

    若要了解 NSG 如何筛选网络流量，请参阅网络安全组如何筛选网络流量。

  • 一个负载均衡器

  对于计算群集，每当群集纵向缩减到 0 个节点时，将删除这些资源，而当群集横向扩展时，将创建这些资源。

  对于计算实例，这些资源将一直保留，直到该实例被删除。 停止实例不会删除资源。

  重要

  这些资源受订阅的资源配额限制。 如果虚拟网络资源组被锁定，则删除计算群集/实例将失败。 在删除计算群集/实例之前，无法删除负载均衡器。 此外，请确保不存在禁止创建网络安全组的 Azure Policy 分配。

• 在 VNet 中，允许 AzureMachineLearning 服务标记中端口 44224 上的入站 TCP 流量。

  重要

  创建计算实例/群集时，会动态为其分配一个 IP 地址。 由于该地址在创建之前是未知的，并且创建过程中需要入站访问，因此无法在防火墙上静态分配该地址。 相反，如果将防火墙与 VNet 配合使用，则必须创建用户定义的路由以允许此入站流量。

• 在 VNet 中，允许流向以下服务标记的出站流量：

  服务标记	协议	端口	说明
  AzureMachineLearning	TCP UDP	443/8787/18881 5831	与 Azure 机器学习服务通信。
  BatchNodeManagement.<region>	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。 计算实例和计算群集是使用 Azure Batch 服务实现的。
  Storage.<region>	TCP	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 此服务标记用于与 Azure Batch 使用的 Azure 存储帐户通信。

  重要

  对 Storage.<region> 的出站访问可能会导致工作区的数据外泄。 通过使用服务终结点策略，你可以缓解此漏洞的问题。 有关详细信息，请参阅 Azure 机器学习数据外泄防护一文。

  FQDN	协议	端口	说明
  <region>.tundra.ml.azure.cn	UDP	5831	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。
  microsoftgraph.chinacloudapi.cn	TCP	443	与 Microsoft Graph API 通信。
  *.instances.ml.azure.cn	TCP	443/8787/18881	与 Azure 机器学习进通信。
  *.<region>.batch.chinacloudapi.cn	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.<region>.service.batch.com	ANY	443	将 <region> 替换为包含 Azure 机器学习工作区的 Azure 区域。 与 Azure Batch 通信。
  *.blob.core.chinacloudapi.cn	TCP	443	与 Azure Blob 存储通信。
  *.queue.core.chinacloudapi.cn	TCP	443	与 Azure 队列存储通信。
  *.table.core.chinacloudapi.cn	TCP	443	与 Azure 表存储通信。

import datetime
import time

from azureml.core.compute import ComputeTarget, ComputeInstance
from azureml.core.compute_target import ComputeTargetException

# Choose a name for your instance
# Compute instance name should be unique across the azure region
compute_name = "ci{}".format(ws._workspace_id)[:10]

# Verify that instance does not exist already
try:
    instance = ComputeInstance(workspace=ws, name=compute_name)
    print('Found existing instance, use it.')
except ComputeTargetException:
    compute_config = ComputeInstance.provisioning_configuration(
        vm_size='STANDARD_D3_V2',
        ssh_public_access=False,
        vnet_resourcegroup_name='vnet_resourcegroup_name',
        vnet_name='vnet_name',
        subnet_name='subnet_name',
        # admin_user_ssh_public_key='<my-sshkey>'
    )
    instance = ComputeInstance.create(ws, compute_name, compute_config)
    instance.wait_for_completion(show_output=True)

from azureml.core.compute import ComputeTarget, AmlCompute
from azureml.core.compute_target import ComputeTargetException

# The Azure virtual network name, subnet, and resource group
vnet_name = 'mynetwork'
subnet_name = 'default'
vnet_resourcegroup_name = 'mygroup'

# Choose a name for your CPU cluster
cpu_cluster_name = "cpucluster"

# Verify that cluster does not exist already
try:
    cpu_cluster = ComputeTarget(workspace=ws, name=cpu_cluster_name)
    print("Found existing cpucluster")
except ComputeTargetException:
    print("Creating new cpucluster")

    # Specify the configuration for the new cluster
    compute_config = AmlCompute.provisioning_configuration(vm_size="STANDARD_D2_V2",
                                                           min_nodes=0,
                                                           max_nodes=4,
                                                           location="chinanorth2",
                                                           vnet_resourcegroup_name=vnet_resourcegroup_name,
                                                           vnet_name=vnet_name,
                                                           subnet_name=subnet_name)

    # Create the cluster with the specified name and configuration
    cpu_cluster = ComputeTarget.create(ws, cpu_cluster_name, compute_config)

    # Wait for the cluster to be completed, show the output log
    cpu_cluster.wait_for_completion(show_output=True)

创建过程完成后，请训练模型。 有关详细信息，请参阅选择并使用用于训练的计算目标。

Azure Databricks

• 该虚拟网络必须与 Azure 机器学习工作区位于同一订阅和区域。
• 如果工作区的 Azure 存储帐户也在虚拟网络中受保护，则它们必须与 Azure Databricks 群集位于同一虚拟网络中。
• 除了 Azure Databricks 使用的 databricks-private 和 databricks-public 子网以外，还需要为虚拟网络创建 default 子网。
• Azure Databricks 不使用专用终结点来与虚拟网络通信。

若要详细了解如何结合使用 Azure Databricks 和虚拟网络，请参阅在 Azure 虚拟网络中部署 Azure Databricks。

训练模型所需的公共 Internet 访问权限

Azure 机器学习需要对公共 Internet 进行入站和出站访问。 下表概述了需要的访问权限及其用途。 对于以 .region 结尾的服务标记，请将 region 替换为包含你的工作区的 Azure 区域。 例如，Storage.chinanorth：

可能还需要允许出站流量发往 Visual Studio Code 和非 Microsoft 站点，以便安装机器学习项目所需的包。 下表列出了用于机器学习的常用存储库：

将 Azure Kubernetes Service (AKS) 与 Azure 机器学习一起使用时，请允许将以下流量发送到 AKS VNet：

• AKS 的一般入站/出站要求，如限制 Azure Kubernetes 服务中的出口流量一文中所述。
• 发往 mcr.microsoft.com 的出站流量。
• 将模型部署到 AKS 群集时，请遵循将 ML 模型部署到 Azure Kubernetes 服务一文中的指导。

有关使用防火墙解决方案的信息，请参阅在 Azure 机器学习中使用防火墙。

后续步骤

本文是介绍如何保护 Azure 机器学习工作流系列文章的一部分。 请参阅本系列中的其他文章：

• 虚拟网络概述 (v1)
• 保护工作区资源
• 保护推理环境 (v1)
• 启用工作室功能
• 使用自定义 DNS
• 使用防火墙