MLflow 和 Azure 机器学习

适用范围：Azure CLI ml 扩展 v2（最新版）Python SDK azure-ai-ml v2（最新版）

本文介绍 MLflow 的功能，这是一个开源框架，旨在管理完整的机器学习生命周期。 MLflow 使用一组一致的工具在不同平台上训练和提供模型。 无论是在本地运行试验，还是在远程计算目标、虚拟机或 Azure 机器学习计算实例上运行试验，你都可以使用 MLflow。

Azure 机器学习工作区与 MLflow 兼容，这意味着你可以按使用 MLflow 服务器的相同方式使用 Azure 机器学习工作区。 这种兼容性带来了以下优势：

• Azure 机器学习不托管 MLflow 服务器实例，但可以直接使用 MLflow API。
• 无论 Azure 机器学习工作区是否在 Azure 机器学习中运行，均可 Azure 机器学习工作区用作任意 MLflow 代码的跟踪服务器。 只需将 MLflow 配置为指向要其中进行跟踪的工作区即可。
• 可以运行 Azure 机器学习中使用 MLflow 的任何训练例程，而无需作出任何更改。

什么是跟踪

处理作业时，Azure 机器学习会自动跟踪有关试验的一些信息，例如代码、环境以及输入和输出数据。 但是，模型、参数和指标特定于应用场景，因此模型生成器必须配置其跟踪。

保存的跟踪元数据会因试验而异，可能包括：

• 代码
• 环境详细信息，如 OS 版本和 Python 包
• 输入数据
• 参数配置
• 模型
• 评估指标
• 评估可视化效果，如混淆矩阵和重要性图
• 评估结果，包括一些评估预测

跟踪试验的好处

无论是在 Azure 机器学习中使用作业还是在 Notebooks 中以交互方式训练模型，试验跟踪都有助于：

• 将所有机器学习试验整理到一个位置。 然后，可以搜索和筛选试验并向下钻取以查看之前试验的详细信息。
• 轻松比较实验、分析结果和调试模型训练。
• 重现或重新运行试验以验证结果。
• 提升协作，因为可以看到其他团队成员正在执行的操作、共享试验结果并以编程方式访问试验数据。

使用 MLflow 进行跟踪

Azure 机器学习工作区与 MLflow 兼容。 这种兼容性意味着，可以使用 MLflow 跟踪工作区中的运行、指标、参数和工件，而无需更改训练例程或注入任何特定于云的语法。 若要了解如何使用 MLflow 跟踪 Azure 机器学习工作区中的试验和运行，请参阅使用 MLflow 跟踪试验和模型。

Azure 机器学习使用 MLflow 跟踪来记录指标并存储试验的项目。 连接到 Azure 机器学习时，正在处理的工作区中的所有 MLflow 跟踪都会具体化。

若要了解如何启用日志记录，以使用 MLflow 监视实时运行指标，请参阅使用 MLflow 记录指标、参数和文件。 还可以查询和比较试验，并使用 MLflow 运行。

Azure 机器学习中的 MLflow 提供了一种集中跟踪的方法。 即使在本地或其他云中运行，也可以将 MLflow 连接到 Azure 机器学习工作区。 Azure 机器学习工作区提供了一个集中式、安全且可缩放的位置来存储训练指标和模型。

Azure 机器学习中的 MLflow 支持以下操作：

• 跟踪在本地或云中运行的机器学习试验和模型。
• 跟踪 Azure Databricks 机器学习试验。

在 R 中使用 MLflow 进行跟踪

R 中的 MLflow 支持具有以下限制：

• MLflow 跟踪仅限于跟踪 Azure 机器学习作业上的试验指标、参数和模型。
• 不支持对具有 R 内核的 RStudio、Posit（之前为 RStudio Workbench）或 Jupyter Notebook 进行交互式训练。
• 不支持模型管理和注册。 使用 Azure 机器学习 CLI 或 Azure 机器学习工作室进行模型注册和管理。

有关在 Azure 机器学习中将 MLflow 跟踪客户端与 R 模型结合使用的示例，请参阅使用 Azure 机器学习 CLI (v2) 训练 R 模型。

使用 Java 中的 MLflow 进行跟踪

Java 中的 MLflow 支持具有以下限制：

• MLflow 跟踪仅限于跟踪 Azure 机器学习作业上的试验指标和参数。
• 无法跟踪项目和模型。 可以改为使用 mlflow.save_model 方法和作业中的 outputs 文件夹来保存要捕获的模型或项目。

有关将 MLflow 跟踪客户端与 Azure 机器学习跟踪服务器结合使用的 Java 示例，请参阅 azuremlflow-java。

MLflow 跟踪的示例笔记本

• 使用 MLflow 训练和跟踪 XGBoost 分类器演示了如何使用 MLflow 跟踪实验、记录模型以及将多种风格组合到管道中。
• 使用服务主体身份验证通过 MLflow 训练并跟踪 XGBoost 分类器演示了如何在 Azure 机器学习外部运行的计算中使用 MLflow 跟踪试验。 示例演示如何使用服务主体对 Azure 机器学习服务进行身份验证。
• 使用 HyperOpt 和 MLflow 中的嵌套运行进行超参数优化演示了如何通过常用 HyperOpt 库使用 MLflow 中的子运行对模型执行超参数优化。 示例演示了如何将指标、参数和项目从子运行传输到父运行。
• 使用 MLflow 记录模型演示了如何在 MLflow 中使用模型的概念（而不是项目的概念）。 该示例还演示如何构造自定义模型。
• 使用 MLflow 管理运行和试验演示了如何使用 MLflow 在 Azure 机器学习中查询试验、运行、指标、参数和项目。

使用 MLflow 进行模型注册

Azure 机器学习支持将 MLflow 用于模型管理。 对于熟悉 MLflow 客户端的用户而言，他们可以借此便捷地管理整个模型生命周期。 若要详细了解如何在 Azure 机器学习中使用 MLflow API 管理模型，请查看使用 MLflow 在 Azure 机器学习中管理模型注册表。

MLflow 模型注册的示例笔记本

使用 MLflow 管理模型演示了如何管理注册表中的模型。

使用 MLflow 进行模型部署

可以将 MLflow 模型部署到 Azure 机器学习以利用改进的体验。 Azure 机器学习支持将 MLflow 模型部署到实时终结点和批处理终结点，而无需指明环境或评分脚本。

MLflow SDK、Azure 机器学习 CLI、适用于 Python 的 Azure 机器学习 SDK 和 Azure 机器学习工作室都支持 MLflow 模型部署。 如要详细了解如何将 MLflow 模型部署到 Azure 机器学习，以便进行实时推理和批量推理，请参阅 MLflow 模型部署指南。

MLflow 模型部署的示例笔记本

• 将 MLflow 部署到联机终结点演示了如何使用 MLflow SDK 将 MLflow 模型部署到联机终结点。
• MLflow 部署的渐进式推出功能演示了如何使用具有渐进式模型推出功能的 MLflow SDK 将 MLflow 模型部署到联机终结点。 该示例还演示了如何将多个版本的模型部署到同一终结点。
• 将 MLflow 模型部署到旧版 Web 服务演示了如何使用 MLflow SDK 将 MLflow 模型部署到旧版 Web 服务（Azure 容器实例或 Azure Kubernetes 服务 v1）。
• 在 Azure Databricks 中训练模型并在 Azure 机器学习中部署这些模型演示了如何在 Azure Databricks 中训练模型并在 Azure 机器学习中部署这些模型。 此示例还介绍了在 Azure Databricks 中使用 MLflow 实例跟踪试验。

使用 MLflow 项目进行训练（预览版）

可以使用 MLflow 项目将训练作业提交到 Azure 机器学习。 可以使用 Azure 机器学习跟踪在本地提交作业，也可以通过 Azure 机器学习计算将作业迁移到云中。

若要了解如何将使用 MLflow 项目的训练作业提交到 Azure 机器学习工作区进行跟踪，请参阅在 Azure 机器学习中使用 MLflow 项目进行训练（预览版）。

MLflow 项目的示例笔记本

• 在本地计算上使用 MLflow 项目进行训练。
• 在 Azure 机器学习计算中使用 MLflow 项目进行训练。

MLflow 与 Azure 机器学习客户端工具功能的对比情况

下表显示了使用 MLflow SDK 和 Azure 机器学习客户端工具可以执行的机器学习生命周期操作。

¹ 有关详细信息，请参阅使用 MLflow 管理 Azure 机器学习中的模型注册表。

² 有关替代方案，请参阅在 Spark 作业中部署和运行 MLflow 模型。

相关内容

• 为 Azure 机器学习配置 MLflow
• 使用 MLflow 跟踪 ML 实验和模型
• 关于 MLflow 模型部署的指南