Databricks Runtime 7.3 LTS (EoS)

Databricks 于 2020 年 9 月发布此版本。 2020 年 10 月为其声明了长期支持 (LTS)。

以下发行说明提供了由 Apache Spark 3.0 提供支持的 Databricks Runtime 7.3 LTS 的相关信息。

有关从 Databricks Runtime 6.x 进行迁移的帮助信息，请参阅 Databricks Runtime 7.x 迁移指南 (EoS)。

新功能

Delta Lake 新增功能和改进

此版本提供以下 Delta Lake 新功能和改进：

本节内容

• Delta Lake 性能优化大大减少了开销
• 现在支持克隆指标
• Delta Lake MERGE INTO 改进
• 指定 Delta Lake 结构化流式处理源的初始位置

Delta Lake 性能优化大大减少了开销

此版本可实现一系列优化，从而将 Delta Lake 操作的开销从几秒钟减少到数十毫秒。 若要启用这些优化，必须将所有写入和读取 Delta 表的群集升级到 Databricks Runtime 7.3 LTS 或更高版本。

有关详细信息和警告，请参阅用于低延迟查询的增强检查点。

现在支持克隆指标

现在会记录克隆操作指标，并可以在运行 DESCRIBE HISTORY 时查看。 有关详细信息，请参阅使用 describe detail 查看 Delta Lake 表详细信息。

Delta Lake MERGE INTO 改进

• 合并现在支持任意数量的 MATCHED 和 NOT MATCHED 子句。
• 将匹配行以无条件方式删除的合并查询不会在多个匹配项上引发错误。

指定 Delta Lake 结构化流式处理源的初始位置

Delta Lake 结构化流式处理连接器现在支持 startingVersion 和 startingTimestamp 选项，以便指定流式处理查询的起点，而无需处理整个表。 有关详细信息，请参阅指定初始位置。

自适应查询执行

自适应查询执行 (AQE) 是一个查询重新优化框架，可以根据收集到的运行时统计信息在执行过程中动态调整查询计划。 AQE 在 Databricks Runtime 7.3 LTS 中已默认启用。 现在，可以尝试使用所有 AQE 功能。 有关详细信息，请参阅自适应查询执行。

改进

自动加载程序

• 现在目录列表模式下支持 Azure Data Lake Storage Gen1

• 如果文件格式为 text 或 binaryFile，则不再需要提供架构。 由于这两种文件格式具有固定的架构，Auto Loader 可以自动使用固定的架构。

新的 Azure Synapse Analytics 连接器列长度控件

现在，可以使用新参数 maxbinlength 来控制 BinaryType 列的列长。 此参数会转换为 VARBINARY(maxbinlength)。

先前的（不可配置的）默认值为 VARBINARY(MAX)，这在创建包含二进制列和默认索引架构的表时会引发问题。 具体来说，表创建将失败，因为默认的列存储索引不支持字符串和二进制列中的 MAX。

pandas 到 Spark DataFrame 的转换已简化

若要启用以下改进，请设置 Spark 配置 spark.databricks.execution.pandasZeroConfConversion.enabled：

• createDataFrame(pandas_df) 已在 Azure Databricks 上进行了优化。
• 如果无法有效地完成转换或无法进行转换，系统会显示警告。

toPandas() 调用中的新 maxResultSize

使用新的配置设置 (spark.databricks.driver.localMaxResultSize)，可以控制 df.toPandas() 调用的 maxResultSize。 此限制暂时更改为 max（spark.driver.maxResultSize、spark.databricks.driver.localMaxResultSize）。 配置设置的默认值为物理内存大小除以 4。

如果 df.toPandas() 结果大小大于 spark.driver.maxResultSize，但又小于 spark.databricks.driver.localMaxResultSize，则会显示警告。

此配置设置仅影响 df.toPandas() 调用创建的 DataFrame。

Pandas 和 PySpark UDF 的可调试性

对于 Pandas 或 PySpark UDF 在 Azure Databricks 笔记本中失败的情况，相应的错误消息现在包括代码失败所在的行号以及有关根本原因的信息。

库升级

• 升级了 Python 库：
  • koalas 已从 1.1.0 升级到 1.2.0。
  • pyarrow 已从 0.15.1 升级到 1.0.1。
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• OpenJDK 8 版本从 Ubuntu OpenJDK 8 更改为 Zulu OpenJDK 8 。

Apache Spark

Databricks Runtime 7.3 LTS 包括 Apache Spark 3.0.1。 此版本包括 Databricks Runtime 7.2 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下缺陷修复和改进：

• [SPARK-32302] [SPARK-28169] [SQL] 通过联接/分区部分下推转折谓词
• [SPARK-32337] [SQL] 在 AQE 计划树字符串中显示初始计划
• [SPARK-30662] 重置 HasBlockSize 的 API 更改
• [SPARK-32620] [SQL] 启用 DPP 后重置 numPartitions 指标
• [SPARK-32646] [SQL] ORC 谓词下推应与不区分大小写的分析一起使用
• [SPARK-32676] [ML] 修复 KMeans/BiKMeans 中的双重缓存问题
• [SPARK-32092] [ML][PYSPARK] 删除了 foldCol 相关代码
• [SPARK-32594] [SQL] 替代 get()，并在 DaysWritable 中使用儒略日
• [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
• [SPARK-32092] [ML][PYSPARK] 修复未在 CrossValidatorModel.copy()、read() 和 write() 中复制的参数
• [SPARK-32672] [SQL] 修复布尔位集压缩中的数据损坏问题
• [SPARK-32663] [CORE] 避免单独关闭共用的 TransportClients（必须通过池关闭）
• [SPARK-32621] [SQL] 路径的选项在推断 CSV/JSON 数据源中的架构时可能会导致问题
• [SPARK-28863] [SQL] 不要重复使用物理计划
• [SPARK-32608] [SQL] 脚本转换 ROW FORMAT DELIMIT 值应对值执行格式化
• [SPARK-28863] [SQL] 引入 AlreadyPlanned，防止对 V1FallbackWriters 进行重新分析
• [SPARK-32451] [R] 支持 Apache Arrow 1.0.0
• [SPARK-32652] [SQL] RowEncoder 的 ObjectSerializerPruning 失败
• [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks 应考虑全部种类的资源
• [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
• [SPARK-32625] [SQL] 回退到解释器模式时记录错误消息
• [SPARK-32543] [R] 删除 SparkR 中的 arrow::as_tibble 用法
• [SPARK-31703] [SQL] 未正确读取大型 endian 平台上的 Parquet RLE 浮动/双精度
• [SPARK-32586] [SQL] 修复启用 ANSI 后出现 NumberFormatException 错误消息的问题
• [SPARK-32456] [SS] 通过将其视为结构化流式处理的聚合来检查区别
• [SPARK-32576] [SQL] 支持 PostgreSQL bpchar 类型和字符类型数组
• [SPARK-32559] [SQL] 修复 UTF8String.toInt/toLong 中的剪裁逻辑没有正确处理非 ASCII 字符的问题
• [SPARK-32560] [SQL] 改进执行 InsertIntoHiveTable.processInsert 时出现的异常消息
• [SPARK-32546] [SQL] 直接从 Hive 表获取表名称
• [SPARK-32529] [CORE] 修复 Historyserver 日志扫描因应用程序状态更改而中止的问题
• [SPARK-32003] [CORE] 使用外部随机播放服务时，在执行程序丢失后发生获取失败时，注销执行程序的输出
• [SPARK-32160] [CORE][PYSPARK] 更改配置名称以在执行程序中切换“允许/禁止 SparkContext”
• [SPARK-32160] [CORE][PYSPARK] 添加配置以切换“允许/禁止在执行程序中创建 SparkContext”
• [SPARK-32083] [SQL] AQE 不应合并 SinglePartition 的分区
• [SPARK-32509] [SQL] 忽略标准化化中未使用的 DPP True 筛选器
• [SPARK-32332] [SQL] 支持纵览交换
• [SPARK-32227] 使用 Spark 3.0.0 修复 load-spark-env.cmd 中的回归 bug
• [SPARK-32478] [R][SQL] 错误消息用于显示 gapply 中的架构与箭头向量化不匹配
• [SPARK-32030] [SQL] 在 SQL 解析器中的 MERGE INTO 中支持无限的 MATCHED 和 NOT MATCHED 子句
• [SPARK-32175] [CORE] 修正 ExecutorPlugin 初始化与启动检测信号线程之间的顺序
• [SPARK-32283] [CORE] Kryo 应支持多个用户注册者
• [SPARK-32424] [SQL] 如果发生溢出，请修复静态数据更改以进行时间戳解析
• [SPARK-32430] [SQL] 扩展 SparkSessionExtensions，将规则注入 AQE 查询阶段准备
• [SPARK-32310] [ML][PYSPARK] ML 参数默认值奇偶校验
• [SPARK-32237] [SQL] 解析 CTE 中的提示
• [SPARK-32280] [SPARK-32372] [SQL] ResolveReferences.dedupRight 只应重写冲突计划的上级节点的属性
• [SPARK-32364] [SQL] 添加 toMap 以返回 originalMap 和文档
• [SPARK-32364] [SQL] 将 CaseInsensitiveMap 用于 DataFrameReader/Writer 选项
• [SPARK-32377] [SQL] CaseInsensitiveMap 应确定为加法
• [SPARK-32365] [SQL] 在 regexp_extract 中为负值索引添加边界条件
• [SPARK-32368] [SQL] pathGlobFilter、recursiveFileLookup 和 basePath 不应区分大小写
• [SPARK-32344] [SQL] 在不同的聚合中，无效 expr 设置为 FIRST/LAST ignoreNullsExpr
• [SPARK-32234] [SQL] Spark sql 命令在选择 Orc 表时失败

维护更新

请参阅 Databricks Runtime 7.3 LTS 维护更新。

系统环境

• 操作系统：Ubuntu 18.04.5 LTS
• Java：Zulu 8.48.0.53-CA-linux64（内部版本 1.8.0_265-b11）
• Scala：2.12.10
• Python：3.7.5
• R：R 版本 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2020-07-14 的 Microsoft CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）