监视部署到生产环境的模型的性能（预览版）

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure CLI 和 Azure CLI 的 ml 扩展。 有关详细信息，请参阅安装、设置和使用 CLI (v2)。

  重要

  本文中的 CLI 示例假定你使用的是 Bash（或兼容的）shell。 例如，从 Linux 系统或者适用于 Linux 的 Windows 子系统。

• Azure 机器学习工作区。 如果没有，请使用安装、设置和使用 CLI (v2) 中的步骤创建一个。

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure 机器学习工作区。 如果没有，请使用快速入门：创建工作区资源一文中的步骤创建一个。

• 若要安装 Python SDK v2，请使用以下命令：

  pip install azure-ai-ml azure-identity
  

  要将 SDK 的现有安装更新到最新版本，请使用以下命令：

  pip install --upgrade azure-ai-ml azure-identity
  

  有关详细信息，请参阅安装适用于 Azure 机器学习的 Python SDK v2。

在按照本文中的步骤操作之前，请确保满足以下先决条件：

• Azure 订阅。 如果没有 Azure 订阅，可在开始前创建一个试用帐户。 试用免费版或付费版 Azure 机器学习。

• 一个 Azure 机器学习工作区和一个计算实例。 如果没有这些资源，请按照快速入门：创建工作区资源一文中的步骤创建它们。

Azure 机器学习模型监控使用 az ml schedule 安排监视作业。 可使用以下 CLI 命令和 YAML 定义创建现成的模型监视器：

az ml schedule create -f ./out-of-box-monitoring.yaml

以下 YAML 包含现成模型监视的定义。

# out-of-box-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: credit_default_model_monitoring
display_name: Credit default model monitoring
description: Credit default model monitoring setup with minimal configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: # specify a spark compute for monitoring job
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target: 
    ml_task: classification # model task type: [classification, regression, question_answering]
    endpoint_deployment_id: azureml:credit-default:main # azureml endpoint deployment id

  alert_notification: # emails to get alerts
    emails:
      - abc@example.com
      - def@example.com

可使用以下代码设置现成的模型监视：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import MLClient
from azure.ai.ml.entities import (
    AlertNotification,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create the compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify your online endpoint deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)


# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    alert_notification=alert_notification
)

# specify the schedule frequency
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create the monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_basic",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

1. 导航到 Azure 机器学习工作室。

2. 转到你的工作区。

3. 从“管理”部分选择“监视”

4. 选择 添加 。

   

5. 在“基本设置”页上，使用“(可选)选择模型”来选择要监视的模型。

6. 如果模型部署到 Azure 机器学习联机终结点，应该会自动填充“(可选)选择启用了数据收集的部署”下拉列表。 从下拉列表中选择部署。

7. 在“(可选)选择训练数据”框中，选择要用作比较参考的训练数据。

8. 在“监视名称”中输入监视名称，或者保留默认名称。

9. 请注意，已为你选择虚拟机大小。

10. 选择你的“时区”。

11. 选择“定期”或“Cron 表达式”计划。

12. 对于“定期”计划，请指定重复频率、日期和时间。 对于“Cron 表达式”计划，请输入 cron 表达式才能监视运行。

    

13. 选择“下一步”来转到“高级设置”部分。

14. 在“配置数据资产”页上选择“下一步”，以保留默认数据集。

15. 选择“下一步”来转到“选择监视信号”页。

16. 选择“下一步”来转到“通知”页。 添加电子邮件地址以接收电子邮件通知。

17. 查看监视详细信息，并选择“创建”以创建监视器。

使用以下 CLI 命令和 YAML 定义创建高级模型监视设置：

az ml schedule create -f ./advanced-model-monitoring.yaml

以下 YAML 包含高级模型监视的定义。

# advanced-model-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with advanced configurations

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:

  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"

  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:credit-default:main
  
  monitoring_signals:
    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # reference_dataset is optional. By default referece_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1 # use training data as comparison reference dataset
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      features: 
        top_n_feature_importance: 10 # monitor drift for top 10 features
      metric_thresholds:
        numerical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02
    advanced_data_quality:
      type: data_quality
      # reference_dataset is optional. By default reference_dataset is the production inference data associated with Azure Machine Learning online endpoint
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
      features: # monitor data quality for 3 individual features only
        - SEX
        - EDUCATION
      metric_thresholds:
        numerical:
          null_value_rate: 0.05
        categorical:
          out_of_bounds_rate: 0.03

    feature_attribution_drift_signal:
      type: feature_attribution_drift
      # production_data: is not required input here
      # Please ensure Azure Machine Learning online endpoint is enabled to collected both model_inputs and model_outputs data
      # Azure Machine Learning model monitoring will automatically join both model_inputs and model_outputs data and used it for computation
      reference_data:
        input_data:
          path: azureml:credit-reference:1
          type: mltable
        data_context: training
        data_column_names:
          target_column: DEFAULT_NEXT_MONTH
      metric_thresholds:
        normalized_discounted_cumulative_gain: 0.9
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

将以下代码用于高级模型监视设置：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    DataDriftSignal,
    DataQualitySignal,
    PredictionDriftSignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    FeatureAttributionDriftMetricThreshold,
    FeatureAttributionDriftSignal,
    PredictionDriftMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# specify the online deployment (if you have one)
monitoring_target = MonitoringTarget(
    ml_task="classification",
    endpoint_deployment_id="azureml:credit-default:main"
)

# specify a lookback window size and offset, or omit this to use the defaults, which are specified in the documentation
data_window = BaselineDataRange(lookback_window_size="P1D", lookback_window_offset="P0D")

production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_inputs:1"
    ),
    data_window=data_window,
    data_context=MonitorDatasetContext.MODEL_INPUTS,
)

# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-default-reference:1"
    ),
    data_column_names={
        "target_column":"DEFAULT_NEXT_MONTH"
    },
    data_context=MonitorDatasetContext.TRAINING,
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=10)

metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)

# create an advanced prediction drift signal
metric_thresholds = PredictionDriftMetricThreshold(
    categorical=CategoricalDriftMetrics(
        jensen_shannon_distance=0.01
    )
)

advanced_prediction_drift = PredictionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds
)

# create an advanced data quality signal
features = ['SEX', 'EDUCATION', 'AGE']

metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# create feature attribution drift signal
metric_thresholds = FeatureAttributionDriftMetricThreshold(normalized_discounted_cumulative_gain=0.9)

feature_attribution_drift = FeatureAttributionDriftSignal(
    reference_data=reference_data_training,
    metric_thresholds=metric_thresholds,
    alert_enabled=False
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced':advanced_data_drift,
    'data_quality_advanced':advanced_data_quality,
    'feature_attribution_drift':feature_attribution_drift,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# create the monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

# specify the frequency on which to run your monitor
recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

# create your monitor
model_monitor = MonitorSchedule(
    name="credit_default_monitor_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置高级监视，请执行以下操作：

1. 按照先前在设置现成的模型监视部分所述，完成“基本设置”页上的全部内容。

2. 选择“下一步”，打开“高级设置”部分的“配置数据资产”页。

3. 添加一个数据集来用作参考数据集。 建议将模型训练数据用作数据偏移和数据质量的比较参考数据集。 此外，将模型验证数据用作预测偏移的比较参考数据集。

   

4. 选择“下一步”来转到“选择监视信号”页。 在此页面上，你将看到已添加一些监视信号（如果之前选择了 Azure 机器学习联机部署）。 信号（数据偏移、预测偏移和数据质量）将最近的历史生产数据作为比较参考数据集，并对指标和阈值使用智能默认值。

   

5. 选择数据偏移信号旁边的“编辑”。

6. 在“编辑信号”窗口中配置数据偏移，如下所示：

   1. 在步骤 1 中，对于生产数据资产，请选择模型输入数据集。 还请进行以下选择：
      • 选择所需的回溯窗口大小。
   2. 在步骤 2 中，对于参考数据资产，请选择你的训练数据集。 还请进行以下选择：
      • 选择目标（输出）列。
   3. 在步骤 3 中，选择监视前 N 个最重要特征的偏移，或者监视特定特征集的偏移。
   4. 在步骤 4 中，选择要用于数字特征的首选指标和阈值。
   5. 在步骤 5 中，选择要用于类别特征的首选指标和阈值。

   

7. 选择“保存”，返回到“选择监视信号”页面。

8. 选择“添加”以打开“编辑信号”窗口。

9. 选择“特征属性偏移(预览)”来配置特征属性偏移信号，如下所示：

   1. 在步骤 1 中，选择模型输入的生产数据集
      • 另请选择所需的回溯窗口大小。
   2. 在步骤 2 中，选择模型输出的生产数据集。
      • 另请选择这些数据资产之间的通用列来将它们联接在一起。 如果使用数据收集器来收集数据，则通用列为 correlationid。
   3. （可选）如果使用数据收集器来收集模型输入和输出已联接的数据，请选择联接的数据集作为生产数据资产（在步骤 1 中）
      • 此外，在配置面板中删除步骤 2。
   4. 在步骤 3 中，选择要用作参考数据集的训练数据集。
      • 此外，为训练数据集选择目标（输出）列。
   5. 在步骤 4 中，选择首选指标和阈值。

   

10. 选择“保存”，返回到“选择监视信号”页面。

    

11. 完成监视信号配置后，选择“下一步”来转到“通知”页。

12. 在“通知”页上，为每个信号启用警报通知，然后选择“下一步”。

13. 在“查看监视设置”页面查看设置。

    

14. 选择“创建”以创建高级模型监视器。

满足模型性能监视的先决条件后，可以使用以下 CLI 命令和 YAML 定义设置模型监控：

az ml schedule create -f ./model-performance-monitoring.yaml

以下 YAML 包含使用收集的生产推理数据进行模型监视的定义。

$schema:  http://azureml/sdk-2-0/Schedule.json
name: model_performance_monitoring
display_name: Credit card fraud model performance
description: Credit card fraud model performance

trigger:
  type: recurrence
  frequency: day
  interval: 7 
  schedule: 
    hours: 10
    minutes: 15
  
create_monitor:
  compute: 
    instance_type: standard_e8s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:loan-approval-endpoint:loan-approval-deployment

  monitoring_signals:
    fraud_detection_model_performance: 
      type: model_performance 
      production_data:
        data_column_names:
          prediction: is_fraud
          correlation_id: correlation_id
      reference_data:
        input_data:
          path: azureml:my_model_ground_truth_data:1
          type: mltable
        data_column_names:
          actual: is_fraud
          correlation_id: correlation_id
        data_context: actuals
      alert_enabled: true
      metric_thresholds: 
        tabular_classification:
          accuracy: 0.95
          precision: 0.8
  alert_notification: 
      emails: 
        - abc@example.com

满足模型性能监视的先决条件后，可以使用以下 Python 代码设置模型监控：

from azure.identity import DefaultAzureCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorDatasetContext,
)
from azure.ai.ml.entities import (
    AlertNotification,
    BaselineDataRange,
    ModelPerformanceMetricThreshold,
    ModelPerformanceSignal,
    ModelPerformanceClassificationThresholds,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
    DefaultAzureCredential(),
    subscription_id="subscription_id",
    resource_group_name="resource_group_name",
    workspace_name="workspace_name",
)

# create your compute
spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.3"
)

# reference your azureml endpoint and deployment
monitoring_target = MonitoringTarget(
    ml_task="classification",
)

# MDC-generated production data with data column names 
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:credit-default-main-model_outputs:1"
    ),
    data_column_names={
        "target_column": "DEFAULT_NEXT_MONTH",
        "join_column": "correlationid"
    },
    data_window=BaselineDataRange(
        lookback_window_offset="P0D",
        lookback_window_size="P10D",
    )
)

# ground truth reference data 
reference_data_ground_truth = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:credit-ground-truth:1"
    ),
    data_column_names={
        "target_column": "ground_truth",
        "join_column": "correlationid"
    },
    data_context=MonitorDatasetContext.GROUND_TRUTH_DATA,
)

# create the model performance signal
metric_thresholds = ModelPerformanceMetricThreshold(
    classification=ModelPerformanceClassificationThresholds(
        accuracy=0.50,
        precision=0.50,
        recall=0.50
    ),
)

model_performance = ModelPerformanceSignal(
    production_data=production_data,
    reference_data=reference_data_ground_truth,
    metric_thresholds=metric_thresholds
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'model_performance':model_performance,
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_target=monitoring_target,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="credit_default_model_performance",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

若要设置模型性能监视，请执行以下操作：

1. 按照先前在设置现成的模型监控部分所述，完成“基本设置”页上的全部内容。

2. 选择“下一步”，打开“高级设置”部分的“配置数据资产”页。

3. 选择“+ 添加”，添加用作真实数据集的数据集。

   确保模型输出数据集也包含在添加的数据集列表中。 添加的真实数据集应具有唯一 ID 列。 真实数据集和模型输出数据集的唯一 ID 列中的值必须匹配，以便这两个数据集在指标计算之前联接在一起。

   

   

4. 选择“下一步”来转到“选择监视信号”页。 在此页面上，你将看到已添加一些监视信号（如果之前选择了 Azure 机器学习联机部署）。

5. 删除此页面上的现有监视信号，因为你只希望创建模型性能监视信号。

6. 选择“添加”以打开“编辑信号”窗口。

7. 选择“模型性能(预览)”来配置模型性能信号，如下所示：

   1. 在步骤 1 中，对于生产数据资产，请选择模型输出数据集。 还请进行以下选择：
      • 选择适当的目标列（例如 is_fraud）。
      • 选择所需的回溯窗口大小和回溯窗口偏移量。
   2. 在步骤 2 中，对于参考数据资产，请选择前面添加的真实数据资产。 还请进行以下选择：
      • 选择适当的目标列。
      • 选择要对其执行与模型输出数据集的联接的列。 用于联接的列应该是两个数据集之间通用的列，并且数据集中的每个行都有唯一 ID（例如 correlationid）。
   3. 在步骤 3 中，选择所需的性能指标并指定各自的阈值。

   

8. 选择“保存”，返回到“选择监视信号”页面。

   

9. 选择“下一步”来转到“通知”页。

10. 在“通知”页上，为模型性能信号启用警报通知，然后选择“下一步”。

11. 在“查看监视设置”页面查看设置。

    

12. 选择“创建”以创建模型性能监视器。

满足上述要求后，可以使用以下 CLI 命令和 YAML 定义设置模型监视：

az ml schedule create -f ./model-monitoring-with-collected-data.yaml

以下 YAML 包含使用收集的生产推理数据进行模型监视的定义。

# model-monitoring-with-collected-data.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: fraud_detection_model_monitoring
display_name: Fraud detection model monitoring
description: Fraud detection model monitoring with your own production data

trigger:
  # perform model monitoring activity daily at 3:15am
  type: recurrence
  frequency: day #can be minute, hour, day, week, month
  interval: 1 # #every day
  schedule: 
    hours: 3 # at 3am
    minutes: 15 # at 15 mins after 3am

create_monitor:
  compute: 
    instance_type: standard_e4s_v3
    runtime_version: "3.3"
  monitoring_target:
    ml_task: classification
    endpoint_deployment_id: azureml:fraud-detection-endpoint:fraud-detection-deployment
  
  monitoring_signals:

    advanced_data_drift: # monitoring signal name, any user defined name works
      type: data_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_inputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_inputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_training_data:1 # use training data as comparison baseline
          type: mltable
        data_context: training
        data_column_names:
          target_column: is_fraud
      features: 
        top_n_feature_importance: 20 # monitor drift for top 20 features
      metric_thresholds:
        numberical:
          jensen_shannon_distance: 0.01
        categorical:
          pearsons_chi_squared_test: 0.02

    advanced_prediction_drift: # monitoring signal name, any user defined name works
      type: prediction_drift
      # define production dataset with your collected data
      production_data:
        input_data:
          path: azureml:my_production_inference_data_model_outputs:1  # your collected data is registered as Azure Machine Learning asset
          type: uri_folder
        data_context: model_outputs
        pre_processing_component: azureml:production_data_preprocessing:1
      reference_data:
        input_data:
          path: azureml:my_model_validation_data:1 # use training data as comparison reference dataset
          type: mltable
        data_context: validation
      metric_thresholds:
        categorical:
          pearsons_chi_squared_test: 0.02
  
  alert_notification:
    emails:
      - abc@example.com
      - def@example.com

满足上述要求后，可使用以下 Python 代码设置模型监视：

from azure.identity import InteractiveBrowserCredential
from azure.ai.ml import Input, MLClient
from azure.ai.ml.constants import (
    MonitorFeatureType,
    MonitorMetricName,
    MonitorDatasetContext
)
from azure.ai.ml.entities import (
    AlertNotification,
    DataDriftSignal,
    DataQualitySignal,
    DataDriftMetricThreshold,
    DataQualityMetricThreshold,
    NumericalDriftMetrics,
    CategoricalDriftMetrics,
    DataQualityMetricsNumerical,
    DataQualityMetricsCategorical,
    MonitorFeatureFilter,
    MonitorInputData,
    MonitoringTarget,
    MonitorDefinition,
    MonitorSchedule,
    RecurrencePattern,
    RecurrenceTrigger,
    ServerlessSparkCompute,
    ReferenceData,
    ProductionData
)

# get a handle to the workspace
ml_client = MLClient(
   InteractiveBrowserCredential(),
   subscription_id,
   resource_group,
   workspace
)

spark_compute = ServerlessSparkCompute(
    instance_type="standard_e4s_v3",
    runtime_version="3.2"
)

#define target dataset (production dataset)
production_data = ProductionData(
    input_data=Input(
        type="uri_folder",
        path="azureml:my_model_production_data:1"
    ),
    data_context=MonitorDatasetContext.MODEL_INPUTS,
    pre_processing_component="azureml:production_data_preprocessing:1"
)


# training data to be used as reference dataset
reference_data_training = ReferenceData(
    input_data=Input(
        type="mltable",
        path="azureml:my_model_training_data:1"
    ),
    data_context=MonitorDatasetContext.TRAINING
)

# create an advanced data drift signal
features = MonitorFeatureFilter(top_n_feature_importance=20)
metric_thresholds = DataDriftMetricThreshold(
    numerical=NumericalDriftMetrics(
        jensen_shannon_distance=0.01
    ),
    categorical=CategoricalDriftMetrics(
        pearsons_chi_squared_test=0.02
    )
)

advanced_data_drift = DataDriftSignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds
)


# create an advanced data quality signal
features = ['feature_A', 'feature_B', 'feature_C']
metric_thresholds = DataQualityMetricThreshold(
    numerical=DataQualityMetricsNumerical(
        null_value_rate=0.01
    ),
    categorical=DataQualityMetricsCategorical(
        out_of_bounds_rate=0.02
    )
)

advanced_data_quality = DataQualitySignal(
    production_data=production_data,
    reference_data=reference_data_training,
    features=features,
    metric_thresholds=metric_thresholds,
    alert_enabled="False"
)

# put all monitoring signals in a dictionary
monitoring_signals = {
    'data_drift_advanced': advanced_data_drift,
    'data_quality_advanced': advanced_data_quality
}

# create alert notification object
alert_notification = AlertNotification(
    emails=['abc@example.com', 'def@example.com']
)

# Finally monitor definition
monitor_definition = MonitorDefinition(
    compute=spark_compute,
    monitoring_signals=monitoring_signals,
    alert_notification=alert_notification
)

recurrence_trigger = RecurrenceTrigger(
    frequency="day",
    interval=1,
    schedule=RecurrencePattern(hours=3, minutes=15)
)

model_monitor = MonitorSchedule(
    name="fraud_detection_model_monitoring_advanced",
    trigger=recurrence_trigger,
    create_monitor=monitor_definition
)

poller = ml_client.schedules.begin_create_or_update(model_monitor)
created_monitor = poller.result()

工作室当前不支持配置部署在 Azure 机器学习外部的模型的监视。 请转而查看 Azure CLI 或 Python SDK 选项卡。

使用 CLI 或 SDK 配置监视器后，可以在工作室中查看监视结果。 若要详细了解任何解释监视结果，请参阅解释监视结果。

满足使用自定义信号和指标的要求后，可使用以下 CLI 命令和 YAML 定义设置模型监视：

az ml schedule create -f ./custom-monitoring.yaml

以下 YAML 包含使用自定义信号进行的模型监视的定义。 有关代码的一些注意事项：

• 假设你已创建具有自定义信号定义的组件并将其注册到 Azure 机器学习。
• 已注册的自定义信号组件的 component_id 为 azureml:my_custom_signal:1.0.0。
• 如果已使用数据收集器收集数据，可以省略 pre_processing_component 属性。 如果要使用预处理组件来预处理数据收集器未收集的生产数据，可以指定它。

# custom-monitoring.yaml
$schema:  http://azureml/sdk-2-0/Schedule.json
name: my-custom-signal
trigger:
  type: recurrence
  frequency: day # can be minute, hour, day, week, month
  interval: 7 # #every day
create_monitor:
  compute:
    instance_type: "standard_e4s_v3"
    runtime_version: "3.3"
  monitoring_signals:
    customSignal:
      type: custom
      component_id: azureml:my_custom_signal:1.0.0
      input_data:
        production_data:
          input_data:
            type: uri_folder
            path: azureml:my_production_data:1
          data_context: test
          data_window:
            lookback_window_size: P30D
            lookback_window_offset: P7D
          pre_processing_component: azureml:custom_preprocessor:1.0.0
      metric_thresholds:
        - metric_name: std_deviation
          threshold: 2
  alert_notification:
    emails:
      - abc@example.com

Python SDK 当前不支持监视自定义信号。 请参阅 Azure CLI 选项卡。

工作室当前不支持监视自定义信号。 请参阅 Azure CLI 选项卡。