CLI (v2) 导入计划 YAML 架构
源 JSON 架构可在 https://azuremlschemas.azureedge.net/latest/schedule.schema.json 中找到。
注意
本文档中详细介绍的 YAML 语法基于最新版本的 ML CLI v2 扩展的 JSON 架构。 此语法必定仅适用于最新版本的 ML CLI v2 扩展。 可以在 https://azuremlschemasprod.azureedge.net/ 上查找早期扩展版本的架构。
YAML 语法
密钥 | 类型 | 说明 | 允许的值 |
---|---|---|---|
$schema |
字符串 | YAML 架构。 | |
name |
字符串 | 必需。 计划名称。 | |
description |
string | 计划的描述。 | |
tags |
object | 计划的标记字典。 | |
trigger |
object | 用于定义何时触发作业的规则的触发器配置。 必须指定 RecurrenceTrigger 或 CronTrigger 。 |
|
import_data |
对象或字符串 | 必需。 计划触发的导入数据操作的定义。 必须指定 string 或 ImportDataDefinition 。 |
触发器配置
重复触发器
密钥 | 类型 | 说明 | 允许的值 |
---|---|---|---|
type |
字符串 | 必需。 指定计划类型。 | recurrence |
frequency |
字符串 | 必需。 指定描述计划触发频率的时间单位。 | minute 、hour 、day 、week 、month |
interval |
整型 | 必需。 指定计划触发的时间间隔。 | |
start_time |
字符串 | 使用时区描述开始日期和时间。 如果省略 start_time,第一个作业将立即运行,以后的作业根据计划触发,即 start_time 将匹配作业创建时间。 如果开始时间是过去的时间,则第一个作业将在下一个计算的运行时间运行。 | |
end_time |
字符串 | 用时区描述结束日期和时间。 如果省略 end_time,计划会运行,直到被显式禁用为止。 | |
timezone |
字符串 | 指定定期时区。 如果省略,则默认为 UTC。 | 请参阅时区值附录 |
pattern |
object | 指定定期模式。 如果省略模式,根据 start_time、frequency 和 interval 的逻辑触发作业。 |
定期计划
定期计划定义定期模式,包含 hours
、minutes
和 weekdays
。
- 当频率为
day
时,模式可指定hours
和minutes
。 - 当频率为
week
和month
时,模式可指定hours
、minutes
和weekdays
。
密钥 | 类型 | 允许的值 |
---|---|---|
hours |
整数或整数数组 | 0-23 |
minutes |
整数或整数数组 | 0-59 |
week_days |
字符串或字符串数组 | monday 、tuesday 、wednesday 、thursday 、friday 、saturday 、sunday |
CronTrigger
密钥 | 类型 | 说明 | 允许的值 |
---|---|---|---|
type |
字符串 | 必需。 指定计划类型。 | cron |
expression |
字符串 | 必需。 指定用于定义如何触发作业的 cron 表达式。 表达式使用标准 crontab 表达式来表达定期计划。 单个表达式由 5 个空格分隔的字段组成:MINUTES HOURS DAYS MONTHS DAYS-OF-WEEK |
|
start_time |
字符串 | 使用时区描述开始日期和时间。 如果省略 start_time,第一个作业将立即运行,以后的作业根据计划触发,即 start_time 将匹配作业创建时间。 如果开始时间是过去的时间,则第一个作业将在下一个计算的运行时间运行。 | |
end_time |
字符串 | 用时区描述结束日期和时间。 如果省略 end_time,计划会继续运行,直到被显式禁用为止。 | |
timezone |
字符串 | 指定定期时区。 如果省略,则默认为 UTC。 | 请参阅时区值附录 |
导入数据定义(预览版)
重要
此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。
有关详细信息,请参阅适用于 Azure 预览版的补充使用条款。
客户可以直接使用import_data: ./<data_import>.yaml
,也可以使用以下属性来定义数据导入定义。
密钥 | 类型 | 说明 | 允许的值 |
---|---|---|---|
type |
字符串 | 必需。 指定要将数据导入为的数据资产类型。 从数据库源导入时,它可以是 mltable,或者从 FileSource 导入时,它可以是 uri_folder。 | mltable 、uri_folder |
name |
字符串 | 必需。 要在其中注册导入数据的数据资产名称。 | |
path |
string | 必需。 采用导入数据的数据存储的路径,以下两种方式之一指定: - 必需项。数据存储路径的 URI。 受支持的 URI 类型仅为 azureml 。 有关如何使用 URI 格式的详细信息,请参阅azureml:// 核心 YAML 语法。 为了避免过度写入,建议为每个导入使用唯一路径。 为此,请参数化路径,如此示例 - azureml://datastores/<datastore_name>/paths/<source_name>/${{name}} 中所示。 示例中的 "datastore_name" 可以是已创建的数据存储,也可以是 workspaceblobstore。 或者,可以引用以选择“托管数据存储”(如下所示: azureml://datastores/workspacemanagedstore ),其中系统会自动分配唯一路径。 |
Azure 机器学习://<> |
source |
object | 导入的数据源的外部源详细信息。 有关源属性的集合,请参阅source 的属性。 |
source
的属性(预览版)
密钥 | 类型 | 说明 | 允许的值 | 默认值 |
---|---|---|---|---|
type |
string | 要从中导入数据的外部源的类型。 目前只允许以下类型 - Database 或FileSystem |
Database 、FileSystem |
|
query |
string | 只有当上面定义的type 是database 时,才定义此值 类型Database (定义或筛选需要导入的数据)的外部源中的查询 |
||
path |
string | 仅当上面定义的 type 是 FileSystem 时,才定义此值 类型 FileSystem (需要导入的文件或数据所在的位置)的外部源中的文件夹路径。 |
||
connection |
字符串 | 必需。 以azureml:<connection_name> 格式引用的外部源的连接属性 |
重要
此功能目前处于公开预览状态。 此预览版在提供时没有附带服务级别协议,我们不建议将其用于生产工作负荷。 某些功能可能不受支持或者受限。
有关详细信息,请参阅适用于 Azure 预览版的补充使用条款。
备注
az ml schedule
命令可用于管理 Azure 机器学习模型。
示例
示例 GitHub 存储库中提供了示例。 以下显示了几个示例。
YAML:使用定期模式计划数据导入
YAML:使用定期模式(预览版)计划数据导入
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_recurrence_import_schedule
display_name: Simple recurrence import schedule
description: a simple hourly recurrence import schedule
trigger:
type: recurrence
frequency: day #can be minute, hour, day, week, month
interval: 1 #every day
schedule:
hours: [4,5,10,11,12]
minutes: [0,30]
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data: ./my-snowflake-import-data.yaml
YAML:计划与托管数据存储上的定期模式(预览版)内联的数据导入定义
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_recurrence_import_schedule
display_name: Inline recurrence import schedule
description: an inline hourly recurrence import schedule
trigger:
type: recurrence
frequency: day #can be minute, hour, day, week, month
interval: 1 #every day
schedule:
hours: [4,5,10,11,12]
minutes: [0,30]
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data:
type: mltable
name: my_snowflake_ds
path: azureml://datastores/workspacemanagedstore
source:
type: database
query: select * from TPCH_SF1.REGION
connection: azureml:my_snowflake_connection
YAML:使用 cron 表达式计划数据导入
YAML:使用 cron 表达式(预览版)计划数据导入
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: simple_cron_import_schedule
display_name: Simple cron import schedule
description: a simple hourly cron import schedule
trigger:
type: cron
expression: "0 * * * *"
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data: ./my-snowflake-import-data.yaml
YAML:计划与 cron 表达式(预览版)内联的数据导入定义
$schema: https://azuremlschemas.azureedge.net/latest/schedule.schema.json
name: inline_cron_import_schedule
display_name: Inline cron import schedule
description: an inline hourly cron import schedule
trigger:
type: cron
expression: "0 * * * *"
start_time: "2022-07-10T10:00:00" # optional - default will be schedule creation time
time_zone: "Pacific Standard Time" # optional - default will be UTC
import_data:
type: mltable
name: my_snowflake_ds
path: azureml://datastores/workspaceblobstore/paths/snowflake/${{name}}
source:
type: database
query: select * from TPCH_SF1.REGION
connection: azureml:my_snowflake_connection
附录
时区
当前计划支持此表中的时区。 键可直接在 Python SDK 中使用,而值可在数据导入 YAML 中使用。 该表按 UTC(协调世界时)排序。
UTC | 密钥 | 值 |
---|---|---|
UTC -12:00 | DATELINE_STANDARD_TIME | “国际日期变更线标准时间” |
UTC -11:00 | UTC_11 | “UTC-11” |
UTC - 10:00 | ALEUTIAN_STANDARD_TIME | 阿留申群岛标准时间 |
UTC - 10:00 | HAWAIIAN_STANDARD_TIME | “夏威夷标准时间” |
UTC -09:30 | MARQUESAS_STANDARD_TIME | “马克萨斯标准时间” |
UTC -09:00 | ALASKAN_STANDARD_TIME | “阿拉斯加标准时间” |
UTC -09:00 | UTC_09 | “UTC-09” |
UTC -08:00 | PACIFIC_STANDARD_TIME_MEXICO | “太平洋标准时间(墨西哥)” |
UTC -08:00 | UTC_08 | “UTC-08” |
UTC -08:00 | PACIFIC_STANDARD_TIME | “太平洋标准时间” |
UTC -07:00 | US_MOUNTAIN_STANDARD_TIME | “美国山地标准时间” |
UTC -07:00 | MOUNTAIN_STANDARD_TIME_MEXICO | “山地标准时间(墨西哥)” |
UTC -07:00 | MOUNTAIN_STANDARD_TIME | “山地标准时间” |
UTC -06:00 | CENTRAL_AMERICA_STANDARD_TIME | “中美洲标准时间” |
UTC -06:00 | CENTRAL_STANDARD_TIME | “中部标准时间” |
UTC -06:00 | EASTER_ISLAND_STANDARD_TIME | “复活节岛标准时间” |
UTC -06:00 | CENTRAL_STANDARD_TIME_MEXICO | “中部标准时间(墨西哥)” |
UTC -06:00 | CANADA_CENTRAL_STANDARD_TIME | “加拿大中部标准时间” |
UTC -05:00 | SA_PACIFIC_STANDARD_TIME | “南美洲太平洋标准时间” |
UTC -05:00 | EASTERN_STANDARD_TIME_MEXICO | “东部标准时间(墨西哥)” |
UTC -05:00 | EASTERN_STANDARD_TIME | “东部标准时间” |
UTC -05:00 | HAITI_STANDARD_TIME | “海地标准时间” |
UTC -05:00 | CUBA_STANDARD_TIME | “古巴标准时间” |
UTC -05:00 | US_EASTERN_STANDARD_TIME | “美国东部标准时间” |
UTC -05:00 | TURKS_AND_CAICOS_STANDARD_TIME | “特克斯和凯科斯群岛标准时间” |
UTC -04:00 | PARAGUAY_STANDARD_TIME | “巴拉圭标准时间” |
UTC -04:00 | ATLANTIC_STANDARD_TIME | “大西洋标准时间” |
UTC -04:00 | VENEZUELA_STANDARD_TIME | “委内瑞拉标准时间” |
UTC -04:00 | CENTRAL_BRAZILIAN_STANDARD_TIME | “巴西中部标准时间” |
UTC -04:00 | SA_WESTERN_STANDARD_TIME | “南美洲西部标准时间” |
UTC -04:00 | PACIFIC_SA_STANDARD_TIME | “太平洋南美洲标准时间” |
UTC -03:30 | NEWFOUNDLAND_STANDARD_TIME | “纽芬兰标准时间” |
UTC -03:00 | TOCANTINS_STANDARD_TIME | “托坎廷斯标准时间” |
UTC -03:00 | E_SOUTH_AMERICAN_STANDARD_TIME | “E. 南美洲标准时间” |
UTC -03:00 | SA_EASTERN_STANDARD_TIME | “南美洲东部标准时间” |
UTC -03:00 | ARGENTINA_STANDARD_TIME | “阿根廷标准时间” |
UTC -03:00 | GREENLAND_STANDARD_TIME | “格陵兰标准时间” |
UTC -03:00 | MONTEVIDEO_STANDARD_TIME | “蒙得维的亚标准时间” |
UTC -03:00 | SAINT_PIERRE_STANDARD_TIME | “圣皮埃尔标准时间” |
UTC -03:00 | BAHIA_STANDARD_TIM | “巴伊亚标准时间” |
UTC -02:00 | UTC_02 | “UTC-02” |
UTC -02:00 | MID_ATLANTIC_STANDARD_TIME | “中大西洋标准时间” |
UTC -01:00 | AZORES_STANDARD_TIME | “亚速尔群岛标准时间” |
UTC -01:00 | CAPE_VERDE_STANDARD_TIME | “佛得角群岛标准时间” |
UTC | UTC | UTC |
UTC +00:00 | GMT_STANDARD_TIME | “GMT 标准时间” |
UTC +00:00 | GREENWICH_STANDARD_TIME | “格林威治标准时间” |
UTC +01:00 | MOROCCO_STANDARD_TIME | “摩洛哥标准时间” |
UTC +01:00 | W_EUROPE_STANDARD_TIME | “西 欧标准时间” |
UTC +01:00 | CENTRAL_EUROPE_STANDARD_TIME | “中欧标准时间” |
UTC +01:00 | ROMANCE_STANDARD_TIME | “罗马标准时间” |
UTC +01:00 | CENTRAL_EUROPEAN_STANDARD_TIME | “中欧标准时间” |
UTC +01:00 | W_CENTRAL_AFRICA_STANDARD_TIME | “中非 西部标准时间” |
UTC +02:00 | NAMIBIA_STANDARD_TIME | “纳米比亚标准时间” |
UTC +02:00 | JORDAN_STANDARD_TIME | “约旦标准时间” |
UTC +02:00 | GTB_STANDARD_TIME | “GTB 标准时间” |
UTC +02:00 | MIDDLE_EAST_STANDARD_TIME | “中东标准时间” |
UTC +02:00 | EGYPT_STANDARD_TIME | “埃及标准时间” |
UTC +02:00 | E_EUROPE_STANDARD_TIME | “E. 欧标准时间” |
UTC +02:00 | SYRIA_STANDARD_TIME | “叙利亚标准时间” |
UTC +02:00 | WEST_BANK_STANDARD_TIME | “西岸标准时间” |
UTC +02:00 | SOUTH_AFRICA_STANDARD_TIME | “南非标准时间” |
UTC +02:00 | FLE_STANDARD_TIME | “FLE 标准时间” |
UTC +02:00 | ISRAEL_STANDARD_TIME | “以色列标准时间” |
UTC +02:00 | KALININGRAD_STANDARD_TIME | “加里宁格勒标准时间” |
UTC +02:00 | LIBYA_STANDARD_TIME | “利比亚标准时间” |
UTC +03:00 | TÜRKIYE_STANDARD_TIME | “土耳其标准时间” |
UTC +03:00 | ARABIC_STANDARD_TIME | “阿拉伯标准时间” |
UTC +03:00 | ARAB_STANDARD_TIME | “阿拉伯标准时间” |
UTC +03:00 | BELARUS_STANDARD_TIME | “白俄罗斯标准时间” |
UTC +03:00 | RUSSIAN_STANDARD_TIME | “俄罗斯标准时间” |
UTC +03:00 | E_AFRICA_STANDARD_TIME | “E. 非标准时间” |
UTC +03:30 | IRAN_STANDARD_TIME | “伊朗标准时间” |
UTC +04:00 | ARABIAN_STANDARD_TIME | “阿拉伯半岛标准时间” |
UTC +04:00 | ASTRAKHAN_STANDARD_TIME | “阿斯特拉罕标准时间” |
UTC +04:00 | AZERBAIJAN_STANDARD_TIME | “阿塞拜疆标准时间” |
UTC +04:00 | RUSSIA_TIME_ZONE_3 | “俄罗斯时区 3” |
UTC +04:00 | MAURITIUS_STANDARD_TIME | “毛里求斯标准时间” |
UTC +04:00 | GEORGIAN_STANDARD_TIME | “格鲁吉亚标准时间” |
UTC +04:00 | CAUCASUS_STANDARD_TIME | “高加索标准时间” |
UTC +04:30 | AFGHANISTAN_STANDARD_TIME | “阿富汗标准时间” |
UTC +05:00 | WEST_ASIA_STANDARD_TIME | “西亚标准时间” |
UTC +05:00 | EKATERINBURG_STANDARD_TIME | “叶卡捷琳堡标准时间” |
UTC +05:00 | PAKISTAN_STANDARD_TIME | “巴基斯坦标准时间” |
UTC +05:30 | INDIA_STANDARD_TIME | “印度标准时间” |
UTC +05:30 | SRI_LANKA_STANDARD_TIME | “斯里兰卡标准时间” |
UTC +05:45 | NEPAL_STANDARD_TIME | “尼泊尔标准时间” |
UTC +06:00 | CENTRAL_ASIA_STANDARD_TIME | “中亚北部标准时间” |
UTC +06:00 | BANGLADESH_STANDARD_TIME | “孟加拉标准时间” |
UTC +06:30 | MYANMAR_STANDARD_TIME | “缅甸标准时间” |
UTC +07:00 | N_CENTRAL_ASIA_STANDARD_TIME | “中亚 北部标准时间” |
UTC +07:00 | SE_ASIA_STANDARD_TIME | “东南亚标准时间” |
UTC +07:00 | ALTAI_STANDARD_TIME | “阿尔泰标准时间” |
UTC +07:00 | W_MONGOLIA_STANDARD_TIME | “西 蒙古标准时间” |
UTC +07:00 | NORTH_ASIA_STANDARD_TIME | “北亚标准时间” |
UTC +07:00 | TOMSK_STANDARD_TIME | “托木斯克标准时间” |
UTC +08:00 | CHINA_STANDARD_TIME | “中国标准时间” |
UTC +08:00 | NORTH_ASIA_EAST_STANDARD_TIME | “北亚东部标准时间” |
UTC +08:00 | SINGAPORE_STANDARD_TIME | “新加坡标准时间” |
UTC +08:00 | W_AUSTRALIA_STANDARD_TIME | “澳大利亚 西部标准时间” |
UTC +08:00 | TAIPEI_STANDARD_TIME | “台北标准时间” |
UTC +08:00 | ULAANBAATAR_STANDARD_TIME | “乌兰巴托标准时间” |
UTC +08:45 | AUS_CENTRAL_W_STANDARD_TIME | “澳大利亚中西部标准时间” |
UTC +09:00 | NORTH_KOREA_STANDARD_TIME | “朝鲜标准时间” |
UTC +09:00 | TRANSBAIKAL_STANDARD_TIME | “外贝加尔标准时间” |
UTC +09:00 | TOKYO_STANDARD_TIME | “东京标准时间” |
UTC +09:00 | KOREA_STANDARD_TIME | “韩国标准时间” |
UTC +09:00 | YAKUTSK_STANDARD_TIME | “雅库茨克标准时间” |
UTC +09:30 | CEN_AUSTRALIA_STANDARD_TIME | “中部 澳大利亚标准时间” |
UTC +09:30 | AUS_CENTRAL_STANDARD_TIME | “澳大利亚中部标准时间” |
UTC +10:00 | E_AUSTRALIAN_STANDARD_TIME | “E. 澳大利亚标准时间” |
UTC +10:00 | AUS_EASTERN_STANDARD_TIME | “澳大利亚东部标准时间” |
UTC +10:00 | WEST_PACIFIC_STANDARD_TIME | “太平洋西部标准时间” |
UTC +10:00 | TASMANIA_STANDARD_TIME | “塔斯马尼亚岛标准时间” |
UTC +10:00 | VLADIVOSTOK_STANDARD_TIME | “符拉迪沃斯托克标准时间” |
UTC +10:30 | LORD_HOWE_STANDARD_TIME | “豪勋爵岛标准时间” |
UTC +11:00 | BOUGAINVILLE_STANDARD_TIME | “布干维尔标准时间” |
UTC +11:00 | RUSSIA_TIME_ZONE_10 | “俄罗斯时区 10” |
UTC +11:00 | MAGADAN_STANDARD_TIME | “马加丹标准时间” |
UTC +11:00 | NORFOLK_STANDARD_TIME | “诺福克标准时间” |
UTC +11:00 | SAKHALIN_STANDARD_TIME | “萨哈林标准时间” |
UTC +11:00 | CENTRAL_PACIFIC_STANDARD_TIME | “太平洋中部标准时间” |
UTC +12:00 | RUSSIA_TIME_ZONE_11 | “俄罗斯时区 11” |
UTC +12:00 | NEW_ZEALAND_STANDARD_TIME | “新西兰标准时间” |
UTC +12:00 | UTC_12 | “UTC+12” |
UTC +12:00 | FIJI_STANDARD_TIME | “斐济标准时间” |
UTC +12:00 | KAMCHATKA_STANDARD_TIME | “勘察加标准时间” |
UTC +12:45 | CHATHAM_ISLANDS_STANDARD_TIME | “查塔姆群岛标准时间” |
UTC +13:00 | TONGA__STANDARD_TIME | “汤加标准时间” |
UTC +13:00 | SAMOA_STANDARD_TIME | “萨摩亚标准时间” |
UTC +14:00 | LINE_ISLANDS_STANDARD_TIME | “来恩群岛标准时间” |