设置 AutoML 以训练自然语言处理模型

适用于：Azure CLI ml 扩展 v2（当前）

• Azure 订阅。 如果没有 Azure 订阅，请立即注册来试用试用版订阅。

• 具有 GPU 训练计算的 Azure 机器学习工作区。 若要创建工作区，请参阅创建工作区资源。 有关 Azure 提供的 GPU 实例的更多详细信息，请参阅 GPU 优化虚拟机大小。

  警告

  对于几个 NLP 用例（例如非英语数据集和更大范围的文档），需要支持多语言模型和使用最大序列长度较长的模型。 因此，这些方案可能需要更高的 GPU 内存才能成功进行模型训练，例如 NC_v3 系列或 ND 系列。

• 已安装 Azure 机器学习 CLI v2。 有关更新和安装最新版本的指导，请参阅安装和设置 CLI (v2) 文档。

• 本文假设你对设置自动化机器学习试验有一定的了解。 遵循操作说明，了解主要的自动化机器学习试验设计模式。

适用范围：Python SDK azure-ai-ml v2（最新版）

• Azure 订阅。 如果没有 Azure 订阅，请立即注册来试用试用版订阅。

• 具有 GPU 训练计算的 Azure 机器学习工作区。 若要创建工作区，请参阅创建工作区资源。 有关 Azure 提供的 GPU 实例的更多详细信息，请参阅 GPU 优化虚拟机大小。

  警告

  对于几个 NLP 用例（例如非英语数据集和更大范围的文档），需要支持多语言模型和使用最大序列长度较长的模型。 因此，这些方案可能需要更高的 GPU 内存才能成功进行模型训练，例如 NC_v3 系列或 ND 系列。

• 已安装 Azure 机器学习 Python SDK v2。

  若要安装该 SDK，你可以：

  • 创建一个计算实例，该实例会自动安装 SDK 并已针对 ML 工作流进行预配置。 有关详细信息，请参阅创建 Azure 机器学习计算实例。

  • 自行安装 automl 包，其中包括 SDK 默认安装。

  重要

  本文中的 Python 命令需要最新的 azureml-train-automl 包版本。

  • 将最新的 azureml-train-automl 包安装到本地环境。
  • 有关最新 azureml-train-automl 包的详细信息，请参阅azureml-train-automl。

• 本文假设你对设置自动化机器学习试验有一定的了解。 遵循操作说明，了解主要的自动化机器学习试验设计模式。

适用于：Azure CLI ml 扩展 v2（当前）

对于 CLI v2 自动化 ML 作业，可以在 YAML 文件中配置试验，如下所示。

适用范围：Python SDK azure-ai-ml v2（最新版）

对于通过 SDK 执行的自动化 ML 作业，可以使用特定的 NLP 任务函数配置该作业。 以下示例演示了适用于 text_classification 的配置。

# general job parameters
compute_name = "gpu-cluster"
exp_name = "dpv2-nlp-text-classification-experiment"

# Create the AutoML job with the related factory-function.
text_classification_job = automl.text_classification(
    compute=compute_name,
    # name="dpv2-nlp-text-classification-multiclass-job-01",
    experiment_name=exp_name,
    training_data=my_training_data_input,
    validation_data=my_validation_data_input,
    target_column_name="Sentiment",
    primary_metric="accuracy",
    tags={"my_custom_tag": "My custom value"},
)

text_classification_job.set_limits(timeout=120)

适用于：Azure CLI ml 扩展 v2（当前）

可以在配置 YAML 文件的特性化部分中指定数据集语言。 BERT 还用于自动化 ML 试验训练的特征化过程，详细了解自动化 ML 中的 BERT 集成和特征化 (SDK v1)。

featurization:
   dataset_language: "eng"

适用于：Python SDK azure-ai-ml v2（当前版本）

可以通过 set_featurization() 方法指定数据集语言。 BERT 还用于自动化 ML 试验训练的特征化过程，详细了解自动化 ML 中的 BERT 集成和特征化 (SDK v1)。

text_classification_job.set_featurization(dataset_language='eng')

适用于：Azure CLI ml 扩展 v2（当前）

适用范围：Python SDK azure-ai-ml v2（最新版）

在试验设置期间，在 AutoMLConfig 中提供了参数 max_concurrent_iterations = number_of_vms 和 enable_distributed_dnn_training = True 后，自动化 ML 会自动处理。 这样做可以计划 NLP 模型的分布式训练，并自动扩展到虚拟机或虚拟机群集上的每个 GPU。 允许的最大虚拟机数量为 32。 训练计划的虚拟机数量是 2 的幂。

max_concurrent_iterations = number_of_vms
enable_distributed_dnn_training = True

AutoML NLP 中仅支持保留验证，并且需要验证数据集。

适用于：Azure CLI ml 扩展 v2（当前）

要提交 AutoML 作业，可以运行以下 CLI v2 命令，其中包含 .yml 文件路径、工作区名称、资源组和订阅 ID。

az ml job create --file ./hello-automl-job-basic.yml --workspace-name [YOUR_AZURE_WORKSPACE] --resource-group [YOUR_AZURE_RESOURCE_GROUP] --subscription [YOUR_AZURE_SUBSCRIPTION]

适用范围：Python SDK azure-ai-ml v2（最新版）

使用之前创建的 MLClient，可以在工作区中运行此 CommandJob。

returned_job = ml_client.jobs.create_or_update(
    text_classification_job
)  # submit the job to the backend

print(f"Created job: {returned_job}")
ml_client.jobs.stream(returned_job.name)

适用于：Azure CLI ml 扩展 v2（当前）

有关每个 NLP 任务，请参阅以下示例 YAML 文件。

• 多类文本分类
• 多标签文本分类
• 命名实体识别

适用范围：Python SDK azure-ai-ml v2（最新版）

有关每个 NLP 任务的详细代码示例，请参阅示例笔记本。

• 多类文本分类
• 多标签文本分类
• 命名实体识别

适用于：Azure CLI ml 扩展 v2（当前）

limits: 
  timeout_minutes: 120  
  max_trials: 4 
  max_concurrent_trials: 2 

sweep: 
  sampling_algorithm: grid 
  early_termination: 
    type: bandit 
    evaluation_interval: 10 
    slack_factor: 0.2 

search_space: 
  - model_name: 
      type: choice 
      values: [bert_base_cased, roberta_base] 
    number_of_epochs: 
      type: choice 
      values: [3, 4] 
  - model_name: 
      type: choice 
      values: [distilbert_base_cased] 
    learning_rate: 
      type: uniform 
      min_value: 0.000005 
      max_value: 0.00005 

适用范围：Python SDK azure-ai-ml v2（最新版）

可为模型扫描作业设置限制：

text_ner_job.set_limits( 
                        timeout_minutes=120, 
                        trial_timeout_minutes=20, 
                        max_trials=4, 
                        max_concurrent_trials=2, 
                        max_nodes=4) 

可以使用自定义设置来定义搜索空间：

text_ner_job.extend_search_space( 
    [ 
        SearchSpace( 
            model_name=Choice([NlpModels.BERT_BASE_CASED, NlpModels.ROBERTA_BASE]) 
        ), 
        SearchSpace( 
            model_name=Choice([NlpModels.DISTILROBERTA_BASE]), 
            learning_rate_scheduler=Choice([NlpLearningRateScheduler.LINEAR,  
                                            NlpLearningRateScheduler.COSINE]), 
            learning_rate=Uniform(5e-6, 5e-5) 
        ) 
    ] 
) 

可以通过采样算法提前终止来配置扫描过程：

text_ner_job.set_sweep( 
    sampling_algorithm="Random", 
    early_termination=BanditPolicy( 
        evaluation_interval=2, slack_factor=0.05, delay_evaluation=6 
    ) 
)