CLI (v2) 管道作业 YAML 架构

项目
08/29/2024

可以从 https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json 找到源 JSON 架构。

注意

本文档中详细介绍的 YAML 语法基于最新版本的 ML CLI v2 扩展的 JSON 架构。此语法必定仅适用于最新版本的 ML CLI v2 扩展。可以在 https://azuremlschemasprod.azureedge.net/ 上查找早期扩展版本的架构。

YAML 语法

密钥	类型	说明	允许的值
`$schema`	字符串	YAML 架构。如果使用 Azure 机器学习 VS Code 扩展创作 YAML 文件，可以通过在文件顶部包含 `$schema` 来调用架构和资源完成操作。
`type`	const	必需。作业类型。	`pipeline`
`name`	字符串	作业的名称。对工作区中的所有作业必须唯一。如果省略，Azure 机器学习将自动生成该名称的 GUID。
`display_name`	字符串	作业在工作室 UI 中的显示名称。在工作区中可以不唯一。如果省略此项，Azure 机器学习将为显示名称自动生成人类可读的形容词-名词标识符。
`experiment_name`	string	在试验名称下组织作业。工作室的“试验”选项卡中相应的试验下整理了每项作业的运行记录。如果省略，Azure 机器学习会将 `experiment_name` 默认为创建作业的工作目录的名称。
`tags`	object	作业的标记字典。
`settings`	object	管道作业的默认设置。访问可配置属性集的 `settings` 键的特性。
`jobs`	object	必需。在管道中作为步骤运行的一组单个作业的字典。这些作业被视为父管道作业的子作业。键是步骤在管道作业的上下文中的名称。此名称不同于子作业的唯一作业名称。该值是作业规范，可以遵循命令作业架构或扫描作业架构。目前，只能在管道中运行命令作业和扫描作业。以后的版本将支持其他作业类型。
`inputs`	object	管道作业的输入字典。该键是作业上下文中的输入的名称。该值是输入值。管道中单个步骤作业的输入可以用 `${{ parent.inputs.<input_name> }}` 表达式引用这些管道输入。有关将管道步骤的输入绑定到顶级管道作业的输入的详细信息，请访问用于在管道作业的步骤之间绑定输入和输出的表达式语法。
`inputs.<input_name>`	数字、整数、布尔值、字符串或对象	文字值（数字、整数、布尔值或字符串类型）或包含作业输入数据规范的对象之一。
`outputs`	object	管道作业的输出配置字典。该键是作业上下文中的输出的名称。该值是输出配置。管道中单个步骤作业的输出可以用 `${{ parents.outputs.<output_name> }}` 表达式引用这些管道输出。有关将管道步骤的输出绑定到顶级管道作业的输出的详细信息，请访问用于在管道作业的步骤之间绑定输入和输出的表达式语法。
`outputs.<output_name>`	object	可以将对象留空。在这种情况下，输出的类型默认为 `uri_folder`，Azure 机器学习将基于此模板化路径系统生成输出的输出位置：`{settings.datastore}/azureml/{job-name}/{output-name}/`。到输出目录的文件将通过读-写装载写入。要指定不同的输出模式，请提供包含作业输出规范的对象。
`identity`	object	此标识用于数据访问。该标识可以是 UserIdentityConfiguration、ManagedIdentityConfiguration 或 None。如果是 UserIdentityConfiguration，则作业提交者的标识将用于访问输入数据并将结果写入输出文件夹，否则将使用计算目标的托管标识。

`settings` 键的属性

键	类型	说明	默认值
`default_datastore`	字符串	要用作管道作业的默认数据存储的数据存储的名称。此值必须是使用 `azureml:<datastore-name>` 语法对工作区中的现有数据存储的引用。父管道作业或子步骤作业的 `outputs` 属性中定义的任何输出都存储在此数据存储中。如果省略，则输出将存储在工作区 blob 数据存储中。
`default_compute`	string	要用作管道中所有步骤的默认计算的计算目标的名称。在步骤级别定义的计算将替代该特定步骤的此默认计算。 `default_compute` 值必须是使用 `azureml:<compute-name>` 语法对工作区中的现有计算的引用。
`continue_on_step_failure`	boolean	此设置决定了当管道中的某个步骤失败时会发生什么情况。默认情况下，即使一个步骤失败，管道也会继续运行。这意味着任何不依赖于失败步骤的步骤仍将执行。但是，如果将此设置更改为“False”，则当某个步骤失败时，整个管道都将停止运行，当前正在运行的任何步骤都将被取消。	`True`
`force_rerun`	boolean	是否强制重新运行整个管道。默认值为 `False`。这意味着，默认情况下，如果管道满足重用条件，则它会尝试重用上一作业的输出。如果设置为 `True`，则管道中的所有步骤都将重新运行。	`False`

作业输入

键	类型	说明	允许的值	默认值
`type`	字符串	作业输入的类型。为指向单个文件源的输入数据指定 `uri_file`，或为指向文件夹源的输入数据指定 `uri_folder`。有关详细信息，请访问详细了解数据访问。	`uri_file`、`uri_folder`、`mltable`、`mlflow_model`	`uri_folder`
`path`	字符串	用作输入的数据的路径。可通过几种方式来执行它： - 数据源文件或文件夹的本地路径，例如 `path: ./iris.csv`。数据会在作业提交期间上传。 - 要用作输入的文件或文件夹的云路径的 URI。支持的 URI 类型为 `azureml`、`https`、`wasbs`、`abfss`、`adl`。有关如何使用 `azureml://` URI 格式的详细信息，请访问核心 yaml 语法。 - 要用作输入的现有已注册的 Azure 机器学习数据资产。要引用已注册的数据资产，请使用 `azureml:<data_name>:<data_version>` 语法或 `azureml:<data_name>@latest`（引用该数据资产的最新版本），例如 `path: azureml:cifar10-data:1` 或 `path: azureml:cifar10-data@latest`。
`mode`	string	将数据传送到计算目标的模式。对于只读装载 (`ro_mount`)，数据将用作装载路径。文件夹是文件夹装载的，而文件则作为文件装载。 Azure 机器学习会将输入解析为装载路径。对于 `download` 模式，数据将下载到计算目标。 Azure 机器学习会将输入解析为下载的路径。对于数据项目或项目存储位置的 URL，请使用 `direct` 模式，而不是装载或下载数据本身。这会将存储位置的 URL 作为作业输入传入。在这种情况下，你全权负责处理凭证以访问存储。	`ro_mount`、`download`、`direct`	`ro_mount`

作业输出

键	类型	说明	允许的值	默认值
`type`	string	作业输出类型。对于默认的 `uri_folder` 类型，输出对应于某个文件夹。	`uri_file`、`uri_folder`、`mltable`、`mlflow_model`	`uri_folder`
`mode`	string	将输出文件或文件发送到目标存储的模式。对于读-写装载模式 (`rw_mount`)，输出目录是装载的目录。对于上传模式，写入的文件会在作业结束时上传。	`rw_mount`、`upload`	`rw_mount`

标识配置

UserIdentityConfiguration

密钥	类型	说明	允许的值
`type`	const	必需。标识类型。	`user_identity`

ManagedIdentityConfiguration

密钥	类型	说明	允许的值
`type`	const	必需。标识类型。	`managed` 或 `managed_identity`

注解

可以使用 az ml job 命令管理 Azure 机器学习作业。

示例

有关示例，请访问示例 GitHub 存储库。下面显示了几个示例：

YAML：hello 管道

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: hello_pipeline
jobs:
  hello_job:
    command: echo "hello"
    environment: azureml:AzureML-sklearn-1.0-ubuntu20.04-py38-cpu@latest
    compute: azureml:cpu-cluster
  world_job:
    command: echo "world"
    environment: azureml:AzureML-sklearn-1.0-ubuntu20.04-py38-cpu@latest
    compute: azureml:cpu-cluster

YAML：输入/输出依赖项

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: hello_pipeline_io
jobs:
  hello_job:
    command: echo "hello" && echo "world" > ${{outputs.world_output}}/world.txt
    environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
    compute: azureml:cpu-cluster
    outputs:
      world_output:
  world_job:
    command: cat ${{inputs.world_input}}/world.txt
    environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
    compute: azureml:cpu-cluster
    inputs:
      world_input: ${{parent.jobs.hello_job.outputs.world_output}}

YAML：常见管道作业设置

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: hello_pipeline_settings

settings:
  default_datastore: azureml:workspaceblobstore
  default_compute: azureml:cpu-cluster
jobs:
  hello_job:
    command: echo 202204190 & echo "hello"
    environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest
  world_job:
    command: echo 202204190 & echo "hello"
    environment: azureml://registries/azureml/environments/sklearn-1.0/labels/latest

YAML：顶级输入和替代常见管道作业设置

$schema: https://azuremlschemas.azureedge.net/latest/pipelineJob.schema.json
type: pipeline
display_name: hello_pipeline_abc
settings:
    default_compute: azureml:cpu-cluster
  
inputs:
  hello_string_top_level_input: "hello world"
jobs:
  a:
    command: echo hello ${{inputs.hello_string}}
    environment: azureml:azureml-sklearn-1.0:23
    inputs:
      hello_string: ${{parent.inputs.hello_string_top_level_input}}
  b:
    command: echo "world" >> ${{outputs.world_output}}/world.txt
    environment: azureml:azureml-sklearn-1.0:23
    outputs:
      world_output:
  c:
    command: echo ${{inputs.world_input}}/world.txt
    environment: azureml:azureml-sklearn-1.0:23
    inputs:
      world_input: ${{parent.jobs.b.outputs.world_output}}

通过