托管联机终结点 SKU 列表
下表显示了 Azure 机器学习托管联机终结点支持的虚拟机 (VM) 库存单位 (SKU)。 每个 SKU 都是分配给可购买的特定 VM 的唯一字母数字代码。
可以将表中列出的完整 SKU 名称用于 Azure CLI 或 Azure 资源管理器模板(ARM 模板)请求来创建和更新部署。
有关 CPU 和 RAM 等配置详细信息,请参阅 Azure 机器学习定价和 VM 大小。
相对大小 | 常规用途 | 计算优化 | 内存优化 | GPU |
---|---|---|---|---|
X-小 | Standard_DS1_v2 Standard_DS2_v2 Standard_D2a_v4 Standard_D2as_v4 |
Standard_F2s_v2 | Standard_E2s_v3 | Standard_NC4as_T4_v3 |
小 | Standard_DS3_v2 Standard_D4a_v4 Standard_D4as_v4 |
Standard_F4s_v2 Standard_FX4mds |
Standard_E4s_v3 | Standard_NC6s_v2 Standard_NC6s_v3 Standard_NC8as_T4_v3 |
中型 | Standard_DS4_v2 Standard_D8a_v4 Standard_D8as_v4 |
Standard_F8s_v2 Standard_FX12mds |
Standard_E8s_v3 | Standard_NC12s_v2 Standard_NC12s_v3 Standard_NC16as_T4_v3 |
大 | Standard_DS5_v2 Standard_D16a_v4 Standard_D16as_v4 |
Standard_F16s_v2 | Standard_E16s_v3 | Standard_NC24s_v2 Standard_NC24s_v3 Standard_NC64as_T4_v3 Standard_NC24ads_A100_v4 |
X-大 | Standard_D32a_v4 Standard_D32as_v4 Standard_D48a_v4 Standard_D48as_v4 Standard_D64a_v4 Standard_D64as_v4 Standard_D96a_v4 Standard_D96as_v4 |
Standard_F32s_v2 Standard_F48s_v2 Standard_F64s_v2 Standard_F72s_v2 Standard_FX24mds Standard_FX36mds Standard_FX48mds |
Standard_E32s_v3 Standard_E48s_v3 Standard_E64s_v3 |
Standard_NC48ads_A100_v4 Standard_NC96ads_A100_v4 Standard_ND96asr_v4 Standard_ND96amsr_A100_v4 Standard_ND40rs_v2 |
注意
对于较大的模型,Standard_DS1_v2
和 Standard_F2s_v2
可能太小,并且可能会由于内存不足、磁盘空间不足或探测失败而导致容器终止,因为启动容器需要太长时间。 如果遇到 OutOfQuota 错误 或 ReourceNotReady 错误,请尝试更大的 VM SKU。 如果要降低使用托管在线终端节点部署多个模型的成本,请参阅多个本地模型的部署。
注意
我们建议在生产方案中部署 3 个以上的实例。 此外,Azure 机器学习会预留 20% 的计算资源,用于对某些 VM SKU 执行升级,如用于部署的虚拟机配额分配中所述。 下面列出了不受此额外配额预留限制的 VM SKU:
- Standard_NC24ads_A100_v4
- Standard_NC48ads_A100_v4
- Standard_NC96ads_A100_v4
- Standard_ND96asr_v4
- Standard_ND96amsr_A100_v4
- Standard_ND40rs_v2