关于 MLflow 模型部署的指南

适用于：Azure CLI ml 扩展 v2（当前）

在本文中，你将了解如何将 MLflow 模型部署到 Azure 机器学习以进行实时和批量推理，以及可用于管理部署的不同工具。

无代码部署

将 MLflow 模型部署到 Azure 机器学习时，与自定义模型部署不同，你无需提供评分脚本或环境。 Azure 机器学习会自动为你生成评分脚本和环境。 此功能称为“无代码部署”。

对于无代码部署，Azure 机器学习：

• 确保满足 MLflow 模型中指示的所有包依赖项。
• 提供 MLflow 基础映像或策展环境，其中包含以下各项：
  • Azure 机器学习执行推理所需的包，包括 mlflow-skinny。
  • 用于执行推理的评分脚本。

包和依赖项

Azure 机器学习自动生成环境来运行 MLflow 模型推理。 为生成环境，Azure 机器学习会读取 MLflow 模型中指定的 conda 依赖项，并添加运行推理服务器所需的包。 这些额外的包因部署类型而异。

以下示例 conda.yaml 文件显示了 MLflow 模型中指定的 conda 依赖项示例。

channels:
- conda-forge
dependencies:
- python=3.10.11
- pip<=23.1.2
- pip:
  - mlflow==2.7.1
  - cloudpickle==1.6.0
  - dataclasses==0.6
  - lz4==4.0.0
  - numpy==1.23.5
  - packaging==23.0
  - psutil==5.9.0
  - pyyaml==6.0
  - scikit-learn==1.1.2
  - scipy==1.10.1
  - uuid==1.30
name: mlflow-env

具有签名的模型

MLflow 模型可以包含一个签名，用于指示预期的输入及其类型。 将此类模型部署到联机终结点或批处理终结点时，Azure 机器学习会确保数据输入的数量和类型符合签名。 如果无法按预期分析输入数据，则模型调用将失败。

可以通过打开 MLmodel 文件来检查 MLflow 模型签名。 有关签名如何在 MLflow 中发挥作用的详细信息，请参阅 MLflow 中的签名。

以下示例 MLmodel 文件突出显示了 signature。

artifact_path: model
flavors:
  python_function:
    env:
      conda: conda.yaml
      virtualenv: python_env.yaml
    loader_module: mlflow.sklearn
    model_path: model.pkl
    predict_fn: predict
    python_version: 3.10.11
  sklearn:
    code: null
    pickled_model: model.pkl
    serialization_format: cloudpickle
    sklearn_version: 1.1.2
mlflow_version: 2.7.1
model_uuid: 3f725f3264314c02808dd99d5e5b2781
run_id: 70f15bab-cf98-48f1-a2ea-9ad2108c28cd
signature:
  inputs: '[{"name": "age", "type": "double"}, {"name": "sex", "type": "double"},
    {"name": "bmi", "type": "double"}, {"name": "bp", "type": "double"}, {"name":
    "s1", "type": "double"}, {"name": "s2", "type": "double"}, {"name": "s3", "type":
    "double"}, {"name": "s4", "type": "double"}, {"name": "s5", "type": "double"},
    {"name": "s6", "type": "double"}]'
  outputs: '[{"type": "double"}]'

MLflow 内置服务器中的部署与 Azure 机器学习推理服务器中的部署

模型开发人员可以使用 MLflow 内置部署工具在本地测试模型。 例如，可以使用 mlflow models serve 或 MLflow CLI mlflow models predict 运行在 MLflow 服务器注册表中注册的模型本地实例。 有关 MLflow 内置部署工具的详细信息，请参阅 MLflow 文档中的内置部署工具。

Azure 机器学习还支持将模型部署到联机终结点和批处理终结点。 这些终结点运行不同的推理技术，可以具有不同的功能。

• Azure 机器学习联机终结点类似于 MLflow 内置服务器，提供了一种可缩放、同步且轻型的方式来运行模型以进行推理。

• Azure 机器学习批处理终结点可以通过长期运行的推理过程运行异步推理，这些推理过程可以扩展到大量数据。 MLflow 服务器缺少此功能，尽管可以使用 Spark 作业实现类似的功能。 若要详细了解批处理终结点和 MLflow 模型，请参阅在批处理部署中使用 MLflow 模型。

输入格式

下表显示了 MLflow 内置服务器与 Azure 机器学习联机终结点支持的输入类型之间的对比。

以下部分重点介绍部署到 Azure 机器学习联机终结点的 MLflow 模型。

输入结构

无论使用的输入类型如何，Azure 机器学习都要求在字典键 input_data 的 JSON 有效负载中提供输入。 由于使用 mlflow models serve 命令为模型提供服务时不需要此密钥，因此不能将 Azure 机器学习联机终结点和 MLflow 内置服务器使用的有效负载互换。

以下有效负载示例显示了在 MLflow 内置服务器中与 Azure 机器学习推理服务器中部署的模型之间的差异。

拆分方向的 JSON 序列化 pandas DataFrame

{
    "input_data": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

{
    "dataframe_split": {
        "columns": [
            "age", "sex", "trestbps", "chol", "fbs", "restecg", "thalach", "exang", "oldpeak", "slope", "ca", "thal"
        ],
        "index": [1],
        "data": [
            [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
        ]
    }
}

张量输入

{
    "input_data": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

{
    "inputs": [
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
          [1, 1, 0, 233, 1, 2, 150, 0, 2.3, 3, 0, 2],
          [1, 1, 145, 233, 1, 2, 150, 0, 2.3, 3, 0, 2]
    ]
}

命名张量输入

{
    "input_data": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

{
    "inputs": {
        "tokens": [
          [0, 655, 85, 5, 23, 84, 23, 52, 856, 5, 23, 1]
        ],
        "mask": [
          [0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 0]
        ]
    }
}

MLflow 模型的推理自定义

评分脚本会自定义如何为自定义模型执行推理。 但对于 MLflow 模型部署，有关如何执行推理的决定是由模型生成器而不是部署工程师做出的。 每个模型框架都可以自动应用特定的推理例程。

如果需要更改对 MLflow 模型执行推理的方式，可以执行以下操作之一：

• 更改在训练例程中记录模型的方式。
• 在部署时使用评分脚本自定义推理。

更改训练期间记录模型的方式

使用 mlflow.autolog 或 mlflow.<flavor>.log_model 记录模型时，用于模型的风格决定了如何执行推理以及要返回的结果。 MLflow 不会在 predict() 函数如何生成结果方面强制实施任何特定行为。

在某些情况下，你可能希望在模型执行前后进行一些预处理或后期处理。 或者，你可能想要更改返回的内容；例如，概率而不是类。 一种解决方案是实现从输入直接移动到输出的机器学习管道。

例如，sklearn.pipeline.Pipeline 或 pyspark.ml.Pipeline 是实现管道的常用方法，有时会出于性能考虑而推荐使用。 还可以通过记录自定义模型来自定义模型如何执行推理。

使用评分脚本自定义推理

尽管 MLflow 模型不需要使用评分脚本，但仍可以提供一个脚本来自定义 MLflow 模型的推理执行（如果需要）。 有关如何自定义推理的详细信息，请参阅自定义联机终结点的 MLflow 模型部署，或使用评分脚本自定义批处理终结点的模型部署。

部署工具

Azure 机器学习提供了以下将 MLflow 模型部署到联机和批处理终结点的工具：

• MLflow SDK
• Azure 机器学习 CLI v2
• 适用于 Python 的 Azure 机器学习 SDK
• Azure 机器学习工作室

每个工具都有不同的功能，尤其是对于它可以面向的计算类型。 下表显示了对不同 MLflow 部署方案的支持。

¹ 部署到启用了专用链接的工作区中的联机终结点时，需要在部署之前打包模型（预览版）。

² 如果可能，请切换到托管联机终结点。

³ 开放源代码 MLflow 没有评分脚本的概念，并且目前不支持批量执行。

选择部署工具

请在以下情况下使用 MLflow SDK：

• 你熟悉 MLflow，想要继续使用相同的方法，并且
• 你使用的是原生支持 MLflow 的 Azure Databricks 等平台。

在以下情况下，请使用适用于 Python 的 Azure 机器学习 CLI v2 或 SDK：

• 你熟悉它们，或
• 想要使用管道自动部署，或
• 想要在 Git 存储库中保留部署配置。

如果要快速部署和测试使用 MLflow 训练的模型，请使用 Azure 机器学习工作室 UI 部署。

相关内容

• 将 MLflow 模型部署到联机终结点
• 将 MLflow 模型部署到批处理终结点
• 逐步推出 MLflow 模型