2024 年 1 月
这些功能和 Azure Databricks 平台的改进已于 2024 年 1 月发布。
注意
下面列出的发行日期和内容在多数情况下只对应于 Azure 公有云的实际部署。
其中提供了 Azure 公有云上 Azure Databricks 服务的演进历史记录以供参考,这些内容可能不适用于由世纪互联运营的 Azure。
注意
发布分阶段进行。 Azure Databricks 帐户可能要等到初始发布日期后的一周或更长时间才会更新。
原生 XML 文件格式支持(公共预览版)
2024 年 1 月 31 日
原生 XML 文件格式支持目前以公共预览版提供。 XML 文件格式支持启用对 XML 数据的引入、查询和分析,以便进行批处理或流式处理。 它可以自动推理并改进架构和数据类型,支持 SQL 表达式(例如 from_xml
)并生成 XML 文档。 它不需要使用外部 jar,可与自动加载程序、read_files
、COPY INTO
和增量实时表无缝配合。 有关详细信息,请参阅读取和写入 XML 文件。
使用 Databricks 市场共享 AI 模型(公共预览版)
2024 年 1 月 31 日
现在可以使用市场来共享在 Unity Catalog 中注册的模型。 必须为 Unity Catalog 启用提供商和使用者工作区才能参与模型共享。
请参阅将模型添加到共享。
网络安全组规则更新
2023 年 1 月 31 日
为了提高平台可伸缩性,Azure Databricks 控制平面现在需要新的终结点以便经典数据平面进行连接。 对于部署在你自己的 Azure 虚拟网络中的工作区,网络端口 3306 和 8443-8451 现在已添加到 AzureDatabricks
目标的现有安全规则中,在端口 443 上强制执行出站流量。
有关详细信息,请参阅网络安全组规则。
工作区路径更新
过去,用户需要为某些 Databricks API (%sh
) 添加 /Workspace
路径前缀,但对于其他 API(%run
、REST API 输入)则不需要。 现在,用户可以在 Databricks 中的任何位置提供带有 /Workspace
前缀的工作区路径。 对不带 /Workspace
前缀的路径的旧引用将被重定向,并且继续有效。 Databricks 建议所有工作区路径使用 /Workspace
前缀,以区别于 Volume 和 DBFS 路径。
简化了 Azure Databricks 作业的创建
2024 年 1 月 29 日
现在,在你单击按钮来创建作业后,会立即创建一个空作业,允许你在添加第一个任务之前编辑作业级设置,例如标记、日程安排或通知设置。 以前,你必须先创建第一个任务,然后才能访问作业级设置。 请参阅配置和编辑 Databricks 作业。
对 Unity Catalog 外部卷基于 URI 路径的访问
2024 年 1 月 25 日
现在,可以使用云存储 URI 对存储在外部卷中的 Unity Catalog 治理的数据进行基于路径的访问。 请参阅使用哪个路径访问卷中的文件?。
可对升级的工作区启用访问控制列表
2024 年 1 月 24 日
2023 年 11 月在所有高级计划工作区上都启用了访问控制设置。
对于从标准计划升级到高级计划的工作区,默认情况下会禁用访问控制设置。 工作区管理员现在可以在升级的工作区上启用以下访问控制设置:
- 工作区访问控制:允许用户配置对工作区对象的权限。
- 群集、池、作业访问控制:允许用户配置对群集、池和作业的权限。
- 群集可见性控制:避免群集对没有权限的用户可见。
- 作业可见性控制:避免作业对没有权限的用户可见。
- 工作区可见性控制设置:避免笔记本和文件夹对没有权限的用户可见。
在启用访问控制设置后,无法将其禁用。 有关详细信息,请参阅访问控制列表。
现推出市场列表事件系统表(公共预览版)
2024 年 1 月 24 日>
Microsoft Azure 市场系统架构现在包括一个列表漏斗事件表(system.marketplace.listing_funnel_events
),可在其中监视列表上的使用者操作。
笔记本单元格的更新 UI(公共预览版)
2024 年 1 月 24 日
提供了更新的笔记本单元格设计。 若要启用新的单元格设计,请在工作区中打开编辑器设置页。 在边栏中,单击开发人员。 在“试验功能”下,切换“新单元格 UI”。 有关使用笔记本单元格的详细信息,请参阅 Databricks 笔记本界面和控件。
有关笔记本中语法错误的快速修复帮助
2024 年 1 月 24 日
可以使用快速修复从 Databricks Assistant 获取语法错误的帮助。 有关详细信息,请参阅 Python 错误突出显示。
Databricks Runtime 14.3 LTS(Beta 版本)
2024 年 1 月 22 日
Databricks Runtime 14.3 LTS 和 Databricks Runtime 14.3 LTS ML 现已作为 Beta 版本提供。
请参阅 Databricks Runtime 14.3 LTS 和用于机器学习的 Databricks Runtime 14.3 LTS。
使用增量共享来共享 AI 模型(公共预览版)
2024 年 1 月 19 日
现在可以使用增量共享来共享在 Unity Catalog 中注册的模型。 必须为 Unity Catalog 启用提供商和收件人工作区才能共享模型。
请参阅将模型添加到共享。
Databricks 市场支持卷共享
2023 年 1 月 18 日
只要拥有启用了 Unity 目录的 Databricks 工作区,Databricks 市场现在就会向你授予卷(非表格数据)的访问权限。 卷是表示云对象存储位置中存储逻辑卷的 Unity 目录对象,它们提供了一种管理非表格数据资产的治理和共享的方法。
从 Databricks UI 创建小组件
2024 年 1 月 18 日
你现在可以使用 Databricks UI 创建 Databricks 小组件。 有关详情,请参阅使用 UI 创建小组件。
现已推出仓库事件系统表(公共预览版)
2024 年 1 月 18 日
system.compute.warehouse_events
表记录 SQL 仓库何时启动、停止、纵向扩展和缩减。 可以使用表监视和管理工作区中的 SQL 仓库。
工作区文件大小限制现为 500MB
2023 年 1 月 15 日
单个工作区文件现在限制为 500 MB。 以前,限制为 200 MB。 有关更多详细信息,请阅读限制。
Databricks 中旧版 Git 集成的功能删除通知
2024 年 1 月 12 日
2024 年 1 月 31 日之后,Databricks 将删除旧笔记本 Git 集成。 此功能两年多以来一直处于旧状态,自 2023 年 11 月以来,产品 UI 一直显示弃用通知。
有关迁移到 Databricks Git 文件夹 (Repos) 的详细信息,请参阅从旧版 Git 集成切换到 Databricks Repos。 如果受到此删除的影响,你需要进行扩展,请联系 Databricks 帐户主管。
Databricks ODBC 驱动程序 2.7.7
2024 年 1 月 9 日
已发布 Databricks ODBC 驱动程序版本 2.7.7(下载)。 此版本增加了以下新功能和增强功能:
- Azure 托管标识身份验证。
- 支持异步元数据操作。 服务器需要支持
SPARK_CLI_SERVICE_PROTOCOL_V9
及更高版本。 - 在本机查询模式下支持参数化查询。 服务器需要支持
SPARK_CLI_SERVICE_PROTOCOL_V8
及更高版本。 - OAuth 增强功能:连接器现在可以为基于浏览器的身份验证流禁用令牌缓存。
此版本还解决了 2.7.7 中的以下问题:
- 使用 Windows 信任存储时,连接器将忽略专用根 CA。
- 操作失败时,连接器不会关闭检测信号线程。
- 连接器不支持可选的刷新令牌。
- 查询具有外部名称的表时,连接器无法读取它们。
- 使用 OAuth 身份验证时,如果 HOST 的字符串长度小于 20,连接器将意外终止。
对 Databricks Runtime 13.2 系列的支持结束
2024 年 1 月 6 日
对 Databricks Runtime 13.2 和用于机器学习的 Databricks Runtime 13.2 的支持已于 1 月 6 日结束。 请参阅 Databricks 支持生命周期。
默认启用 AI 辅助功能
2024 年 1 月 2 日至 8 日
对于未启用合规性安全配置文件的工作区,现在会默认启用 AI 辅助功能。 这些设置包括:
Unity Catalog 托管表的 AI 生成的注释
Databricks 助手
管理员可以为其帐户中的所有工作区或部分工作区选择不使用 AI 辅助功能。