Databricks Runtime 4.3 (EoS)

Databricks 于 2018 年 8 月发布此版本。

以下发行说明提供有关 Apache Spark 提供支持的 Databricks Runtime 4.3 的信息。

新功能

• Delta Lake
  • TRUNCATE TABLE 命令：从表中删除所有行。 与 Delta 表的对应项 Spark 表不同，Delta 表不支持删除特定分区。
  • ALTER TABLE REPLACE COLUMNS命令：替换 Delta 表中的列。 该命令支持更改列的注释并对多个列重新排序。
  • FSCK REPAIR TABLE命令：从 Delta 表的事务日志中移除无法再从基础文件系统中找到的文件条目。 手动删除这些文件时，可能会发生这种情况。
  • 支持对过时的 Delta 表进行查询，以改进交互式查询体验：现在，当不需要最新结果时，对 Delta 表的查询可以在过时版本的表上运行。 此功能可以减少查询的延迟，尤其是通过流持续更新基础 Delta 表时。
• 结构化流式处理
  • 对Azure Synapse Analytics 连接器的可缩放流式写入支持。
  • 支持在 Python 中使用 foreachBatch()（Scala 中已可供使用）。 有关更多详细信息，请参阅 foreach 和 foreachBatch 文档。
  • 支持在查询中存在多个输入流时选择最小或最大水印。 之前始终使用最小时间戳。 有关更多详细信息，请参阅多水印策略。
  • 支持对 Append 和 Complete 输出模式下的流使用 LIMIT 运算符。 为最大程度地减少驱动程序上的 OOM 错误，在对无限制流使用 display() 时会自动应用 LIMIT。

改进

• Delta Lake

  • 无 10000 行插入限制的 MERGE INTO 命令的新可缩放实现的个人预览版。 如果你想尝试此操作，请联系支持人员。
  • OPTIMIZE 命令的性能和可伸缩性更好，尤其是在较大的群集上。
  • OPTIMIZE 命令现在以增量方式提交到表，这意味着，如果命令失败，重试不需要处理整个数据集。
  • 减少了使用 Delta Lake 作为流式处理源时发现新数据所需的文件系统 RPC 数。
  • 在 Python 中添加了对 df.writeStream.table(table-name) 的支持，以便从流创建 Delta 表。

• 提高了具有多个联接、聚合或窗口的查询性能。

• 提高了具有广播哈希联接的查询中分区级别修剪的效率。

• 改进了整个阶段的代码生成，以便检测重复的表达式、减少生成的代码量并提高特定表达式类型的性能。

• 高并发群集现在支持在笔记本中运行 %fs。

• 已将 PySpark 使用的 Py4J 升级到 0.10.7。

• 改进了 Azure Ls 系列实例上的磁盘缓存性能。 缓存在这些实例上默认为启用状态，加快了重复读取 Parquet 文件的工作负载。

已弃用的功能

• Databricks Delta 之外的数据跳过功能已弃用。 增强版的数据跳过功能将继续作为 Delta Lake 的一部分提供。 建议切换到使用 Delta Lake 以继续利用此功能。 有关详细信息，请参阅 Databricks Delta 数据跳过。

Bug 修复

• 修复了以下问题：当 ON 条件的谓词仅引用目标表时，Delta 的谓词下推 MERGE INTO 语句不正确。

• 修复了 mapGroupsWithState 和 flatMapGroupsWithState 中的 bug，该 bug 阻止在删除状态后设置超时 (SPARK-22187)。

• 修复了阻止水印与 Trigger.Once 一起正常工作的 bug (SPARK-24699)。

• Update 命令现在可验证 SET 子句中的列，以确保所有列实际存在，并且没有列经过多次设置。

• 修复了可能导致目录提交死锁的潜在争用条件。

• 修复了导致刷新装载时使用已弃用 DBFS 客户端版本的 bug。

已知问题

• 表的 Delta Lake 配置选项仅在加载表的第一个笔记本中生效。

Apache Spark

Databricks Runtime 4.3 包括 Apache Spark 2.3.1。 此版本包括 Databricks Runtime 4.2 (EoS) 中包含的所有修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-24934][SQL] 在内存中分区修剪的上限/下限中将支持的类型显式加入允许列表
  • 当在针对缓存数据的查询筛选器中使用复杂数据类型时，Spark 始终返回一个空结果集。 基于内存中统计信息的修剪生成了错误结果，原因是复杂类型的上限/下限设置为 null。 解决方法是不对复杂类型使用基于内存中统计信息的修剪。
• [SPARK-24957][SQL] 后跟聚合的带小数的平均值返回了错误结果
  • 可能会返回错误的 AVERAGE 结果。 如果 Divide 的结果类型与强制转换的类型相同，则会跳过在 Average 运算符中添加的 CAST。
• [SPARK-24867][SQL] 将 AnalysisBarrier 添加到 DataFrameWriter
  • 使用 DataFrameWriter 编写具有 UDF 的数据帧时，不使用 SQL 缓存。 这是我们在 AnalysisBarrier 中所做的更改导致的回归，因为并非所有分析器规则都是幂等的。
• [SPARK-24790][SQL] 允许在透视中使用复杂聚合表达式
  • 放宽检查以允许使用复杂聚合表达式（如 ceil(sum(col1)) 或 sum(col1) + 1），这大致意味着，除了 pandas UDF 之外，任何聚合表达式都可能出现在聚合计划中。
• [SPARK-24870][SQL] 如果 SQL 中存在大小写字母，缓存无法正常工作
  • 修复了计划标准化问题。
• [SPARK-24852]使 spark.ml 训练使用更新的检测 API。
• [SPARK-24891][SQL] 修复 HandleNullInputsForUDF 规则
  • 使 HandleNullInputsForUDF 规则幂等，以免在多次分析计划时缓存管理器中出现计划不匹配的情况。
• [SPARK-24878][SQL] 针对包含 null 的基元类型的数组类型修复 reverse 函数。
• [SPARK-24871][SQL] 重构 Concat 和 MapConcat，以免为每行创建 concatenator 对象。
• [SPARK-24802][SQL] 为优化规则排除添加新配置
  • 向用户提供配置以排除某些优化器规则。
• [SPARK-24879][SQL] 修复 Hive 分区修剪筛选器下推中的 NPE
  • 如果分区谓词类似于 col IN (1, null)，则会引发 NPE。 此修补程序修复了此问题。
• [SPARK-23731][SQL] 使 FileSourceScanExec 在（反）序列化后可规范化
• [SPARK-24755][CORE] 执行器丢失可能导致任务无法重新提交
  • 修复了 Spark 可能因执行器丢失而无法重新提交任务的 bug。 此 bug 是在 Spark 2.3 中引入的。
• [SPARK-24677][CORE] 避免 MedianHeap 中出现 NoSuchElementException
  • 修复了收集任务持续时间指标时与推理任务相关的 bug。
• [SPARK-24868][PYTHON] 在 Python 中添加 sequence 函数
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] 修复类型强制转换和为 Null 性。
• [SPARK-24699][SS] 通过将更新的水印保存到提交日志，使水印与 Trigger.Once 一起工作
• [SPARK-24537][R] 添加 array_remove / array_zip / map_from_arrays / array_distinct
• [SPARK-22187][SS] 更新 flatMapGroupsWithState 中保存的状态的 unsaferow 格式，以允许对已删除的状态使用超时 (4.x)
• [SPARK-24681][SQL] 验证 Hive 元存储中的嵌套列名称
  • 确保 Hive 元存储中的嵌套列名称不包含“,”、“:”和“;”
• [SPARK-23486] 从 lookupFunctions 的外部目录缓存函数名
  • 加快函数查找速度。
• [SPARK-24781][SQL] 在筛选器/排序中使用来自数据集的引用可能不起作用
• [SPARK-24208][SQL] 修复 FlatMapGroupsInPandas 的重复属性删除
  • 修复包含 FlatMapGroupsInPandas 的数据集上因属性重复而导致的自联接故障
• [SPARK-24530][PYTHON] 添加控制以通过环境变量 SPHINXPYTHON 在 Sphinx 中强制使用 Python 版本
• [SPARK-24250] 支持在任务内部访问 SQLConf
  • 触发 SQL 执行时，将所有 SQL 配置保存到作业属性中。 在执行器端，我们从作业属性重新生成 SQLConf。
• [SPARK-23936][SQL] 实现 map_concat
• [SPARK-23914][SQL] 添加 array_union 函数
• [SPARK-24732][SQL] MapTypes 之间的类型强制转换。
  • 添加了对 MapTypes 之间的类型强制转换的支持，其中键类型和值类型都兼容。 例如，可以将类型 MapType(IntegerType, FloatType) 和 MapType(LongType, DoubleType) 强制转换为类型 MapType(LongType, DoubleType)
• [SPARK-24662][SQL] [SS] 支持在结构化流中设置限制
• [SPARK-24730][SS] 添加策略，以便在流式处理查询具有多个水印时选择最大值作为全局水印 (branch-4.x)
• [SPARK-24596][SQL] 非级联缓存失效
  • 取消缓存或删除临时视图时，不需要以级联方式取消缓存依赖于该视图的所有计划，因为基础数据不会更改。
• [SPARK-23927][SQL] 添加“sequence”表达式
• [SPARK-24636][SQL] array_join 函数的数组类型强制转换
• [SPARK-22384][SQL] 优化在 Cast 中包装属性时的分区修剪
  • 改进分区修剪，以便能使用安全的类型强制转换（int 到 long，而不是 long 到 int）向下推送分区谓词。
• [SPARK-24385][SQL] 解决 EqualNullSafe 的自联接条件不明确问题
  • 实现 EqualNullSafe 以解决自联接条件不明确问题。
• [SPARK-24696][SQL] ColumnPruning 规则无法删除额外的项目
  • 修复了 ColumnPruning 规则中导致优化器中出现无限循环错误的 bug。
• [SPARK-24603][SQL] 修复注释中的 findTightestCommonType 引用
• [SPARK-24613][SQL] 具有 UDF 的缓存无法与后续的依赖缓存匹配
  • 使用 AnalysisBarrier 包装逻辑计划以在 CacheManager 中编译执行计划，目的是避免再次分析计划。 这也是 Spark 2.3 的回归。
• [SPARK-24017][SQL] 将 ExternalCatalog 重构为接口
• [SPARK-24324][PYTHON] pandas 分组的映射 UDF 应按名称分配结果列
  • 如果用户使用字符串标记，则按架构名称分配结果列，否则使用位置分配。
• [SPARK-23778][CORE] 避免 union 获取空 RDD 时出现不必要的随机选择
  • 忽略 union 方法中传入的空 RDD，以避免在所有其他 Rdd 具有相同分区时出现不必要的额外随机选择。
• [SPARK-24552][CORE][SQL] 使用唯一 ID，而不是写入的尝试次数。
  • 向 v2 数据源传递唯一的任务尝试 ID，而不是重试次数，因为在重试阶段时会重复使用尝试次数。 这会影响数据源 V1 和 V2 API，但不会影响文件格式 API，因为 DBR 使用不同的提交协议。
• [SPARK-24588][SS] 流式处理联接应当需要来自子代的 HashClusteredPartitioning。
• [SPARK-24589][CORE] 在输出提交协调器中正确标识任务。
  • 向协调器跟踪的阶段状态添加详细信息，以便只允许一个任务提交输出。 此修补程序还删除了 SPARK-18113 引入的无用代码更改。
• [SPARK-23933][SQL] 添加 map_from_arrays 函数
• [SPARK-24583][SQL] InsertIntoDataSourceCommand 中的架构类型错误
  • 创建具有 NOT NULL 约束的 Delta 表时，可以删除为 Null 性并插入 NULL 值，且无需检查冲突。
• [SPARK-24542][SQL] UDF 系列 UDFXPathXXXX 使用户可传递经过精心设计的 XML 来访问任意文件
  • 这是社区报告的安全修补程序。 UDF 系列 UDFXPathXXXX 使用户可传递精心设计的 XML 来访问任意文件。 当用户使用外部访问控制库时，用户可能会绕过这些库并访问文件内容。
• [SPARK-23934][SQL] 添加 map_from_entries 函数
• [SPARK-23912][SQL] 添加 array_distinct
• [SPARK-24574][SQL] array_contains、array_position、array_remove 和 element_at 函数处理列类型

维护更新

请参阅 Databricks Runtime 4.3 维护更新。

系统环境

• 操作系统：Ubuntu 16.04.4 LTS
• Java：1.8.0_162
• Scala：2.11.8
• Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
• R：R 版本 3.4.4 (2018-03-15)
• GPU 群集：安装了以下 NVIDIA GPU 库：
  • Tesla 驱动程序 375.66
  • CUDA 9.0
  • cuDNN 7.0

已安装的 Python 库

已安装的 R 库

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）