Databricks 资产捆绑包功能发行说明

本文包含有关主要新增和即将推出的 Databricks 资产捆绑包功能和更改的发布的详细信息。 捆绑包功能随 Databricks CLI 一起发布。 有关更新的完整列表,请参阅 Databricks CLI GitHub 存储库发行说明

行为更改

以下 Databricks 资产捆绑包行为更改已在 Databricks CLI 版本中发布。

工作区路径现在会自动添加前缀

2024 年 10 月 9 日

此更改随 Databricks CLI 0.230.0 一起发布。

工作区路径现在自动以 /Workspace 作为前缀。 此外,捆绑包配置中所有路径字符串(如 /Workspace/${workspace.root_path}/...)的用法都会自动替换为 ${workspace.root_path}/...,并将生成一个警告作为 bundle validate 的一部分。

如果指定了自定义 workspace.root_pathworkspace.artifact_pathworkspace.file_path,Databricks 资产捆绑包会自动为其添加前缀 /Workspace,但如果将其中任一项用作变量(例如 my_config_path: /Workspace/${workspace.file_path}/config),则需要更新这些条目以删除 /Workspace 前缀,从而避免警告。

如果你将其中一个作为变量传递并在代码中为它们添加前缀,则需要更新代码以避免这样做。

此更改是必需的,因为最初当工作区文件系统根植于 / 并且主目录位于 /Users 下时,若要通过 Databricks REST API 访问工作区路径,需要直接使用这些路径。 若要从代码访问工作区路径,可以使用 /Workspace 文件路径,并且主目录也可在 /Workspace/Users 下使用。 为了避免工作区路径的这种二元性,以及工作区路径和 Unity Catalog /Volumes 路径之间的歧义,所有工作区路径都以 /Workspace 作为前缀。

新功能

Databricks CLI 版本中发布了以下 Databricks 资产捆绑包功能和更新。

支持创建通用群集

2024 年 10 月 1 日

此功能已随 Databricks CLI 0.229.0 一起发布。

现在可以使用新的 clusters 资源类型在捆绑配置中创建通用群集。 请参阅群集

新的增量实时表管道重新创建提示和自动批准标志

2024 年 9 月 5 日

此功能已随 Databricks CLI 0.228.0 一起发布。

如果存在捆绑包配置更改,其导致重新创建增量实时表管道,则会出现提示。 可通过指定 --auto-approve 标志来跳过提示。

添加了对 Unity Catalog 架构资源的支持

2024 年 7 月 31 日

此功能已随 Databricks CLI 0.225.0 一起发布。

Unity Catalog 架构现在可在捆绑包配置中定义。 请参阅架构

Web 终端中的捆绑包命令

2024 年 7 月 4 日

此功能已随 Databricks CLI 0.223.0 一起发布。

现在,可使用 Web 终端中的 Databricks CLI 与捆绑包进行交互。 有关使用 Web 终端的信息,请参阅在 Azure Databricks Web 终端中运行 Shell 命令

增加了对复杂变量的支持

2024 年 6 月 26 日

此功能已随 Databricks CLI v0.222.0 一起发布。

Databricks 资产捆绑包现在支持复杂变量。 请参阅定义复杂变量

Databricks 资产捆绑包已推出正式版

2024 年 4 月 23 日

Databricks 资产捆绑包现已随 Databricks CLI 0.218.0 版本正式发布。