Databricks Runtime 4.1 (EoS)

Databricks 于 2018 年 5 月发布此版本。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 4.1 的相关信息。

Delta Lake

Databricks Runtime 版本 4.1 为 Delta Lake 添加了重大质量改进和功能。 Databricks 强烈建议将所有 Delta Lake 客户升级到新的运行时。 此版本仍以个人预览版提供，但它代表了即将推出的正式发布版 (GA) 的候选发行版。

Delta Lake 现在也提供 Azure Databricks 用户的个人预览版。 请联系你的帐户管理员或在 https://databricks.com/product/databricks-delta 进行注册。

中断性变更

• Databricks Runtime 4.1 包括对事务协议的更改，以便启用新功能，如验证。 使用 Databricks Runtime 4.1 创建的表会自动使用新版本，且旧版本的 Databricks Runtime 无法写入。 必须升级现有表才能利用这些改进。 若要升级现有表，请先升级写入表的所有作业。 然后运行：

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  有关详细信息，请参阅 Azure Databricks 如何管理 Delta Lake 功能兼容性？。

• 现在，将针对表的当前架构对写入操作进行验证，而不是自动添加目标表中缺少的列。 若要启用以前的行为，请将 mergeSchema 选项设置为 true。

• 如果运行更早版本的 Databricks Delta，则需要升级所有作业才能使用 Databricks Runtime 4.1。 如果看到以下任一错误，请升级到 Databricks Runtime 4.1：

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• 表不能再具有仅因大小写而不同的列。

• Delta 特定的表配置现在必须以 delta. 为前缀

新增功能

• 架构管理 - Databricks Delta 现在验证对现有表的追加和覆盖，以确保所写入的架构与架构匹配。

  • Databricks Delta 继续支持自动架构演变。
  • Databricks Delta 现在支持以下 DDL 以显式修改架构：
    • 向表中添加新列的 ALTER TABLE ADD COLUMN
    • 更改列顺序的 ALTER TABLE CHANGE COLUMNS
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  有关详细信息，请参阅架构强制。

• 增强的 DDL 和表支持

  • 表 DDL 和 saveAsTable() 的完全支持。 save() 和 saveAsTable() 现在具有相同的语义。
  • 所有 DDL 和 DML 命令都支持表名称和 delta.`<path-to-table>`。
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • 详细表信息 - 你可以通过运行 DESCRIBE DETAIL 查看表当前的读取器和编写器版本。 请参阅 Azure Databricks 如何管理 Delta Lake 功能兼容性？。
  • 表详细信息 - 现在，每次写入表时都提供出处信息。 数据边栏还显示 Databricks Delta 表的详细表信息和历史记录。 请参阅使用 describe detail 查看 Delta Lake 表详细信息。
  • 流式处理表 - 可使用 spark.readStream.format("delta").table("<table-name>") 创建流式处理数据帧。
  • 仅追加表 - Databricks Delta 现在支持基本数据治理。 可通过设置表属性 delta.appendOnly=true 来阻止对表的删除和修改。
  • MERGE INTO 源 - 对 MERGE 的查询规范添加更全面的支持。 例如，可以在源中指定 LIMIT、ORDER BY 和 INLINE TABLE。
  • 表 ACL 的完全支持。

性能改进

• 降低了统计数据收集开销 - 统计数据收集的效率已提高，现在仅为可配置的数量的列收集统计信息（默认情况下设置为 32）。 由于统计信息收集开销的减少，Databricks Delta 写入性能提高了 2 倍。 若要配置列数，请设置表属性 delta.dataSkippingNumIndexedCols=<number-of-columns>。
• 支持限制下推 - 统计信息用于限制针对某些查询进行扫描的文件的数量，这些查询的分区列上方具有 LIMIT 和谓词。 这适用于笔记本中的查询，因为所有笔记本命令都使用隐式 limit=1000。
• 流式源中的筛选器下推 - 流式查询现在在启动新流时使用分区来跳过不相关的数据。
• 改进的 OPTIMIZE - OPTIMIZE 的并行度现在作为单个 Spark 任务运行，并将使用群集上可用的所有并行度（以前限制为一次 100 个压缩文件）。
• DML 中的数据跳过 - UPDATE、DELETE 和 MERGE 现在在发现需要重写的文件时使用统计信息。
• 减少了检查点保留 - 检查点现在保留两天（历史记录仍保留 30 天），以减少事务日志的存储成本。

API 行为

• Databricks Delta 中的 insertInto(<table-name>) 行为和其他数据源相同。
  • 如果未指定模式，或 mode 是 ErrorIfExists、Ignore 或 Append，则会将数据帧中的数据追加到 Databricks Delta 表。
  • 如果 mode 是 Overwrite，则删除现有表中的所有数据，并将数据帧中的数据插入 Databricks Delta 表中。
• 如果已缓存，则必须对 MERGE 的目标表手动取消缓存。

可用性改进

• 工作负载迁移验证 - 将工作负载迁移到 Databricks Delta 时所犯的常见错误现在引发异常而不是失败：
  • 使用 format("parquet") 读取或写入表。
  • 直接读取或写入分区（即 /path/to/delta/part=1）。
  • 清扫表的子目录。
  • INSERT OVERWRITE DIRECTORY 对表使用 Parquet。
• 不区分大小写的配置 - 数据帧读取器/写入器和表属性的选项现在不区分大小写（包括读取路径和写入路径）。
• 列名 - 表列名现在可以包含点。

已知问题

• 多插入语句的插入位置位于不同的工作单位中，而不是同一个事务中。

Bug 修复

• 在快速更新表上启动新流时，已修复无限循环。

弃用功能

结构化流式处理不处理非追加的输入，并且会在对用作源的表进行了任何修改时引发异常。 以前，你可以使用 ignoreFileDeletion 标志替代此行为，但现在已弃用此操作。 改为使用 ignoreDeletes 或 ignoreChanges。 请参阅用作源的 Delta 表。

其他更改和改进

• 已为使用 UI 创建的所有用途的群集启用了查询监视器。
• 已改进 DBIO 缓存的驱动程序端性能
• 已通过新的本机 Parquet 解码器提升 Parquet 解码性能
• 已提升常见子表达式消除性能
• 已提升连接小表的大表的数据跳过性能（事实维度表联接）
• display() 现在以富 HTML 的形式呈现包含图像数据类型的列。
• 记录、加载、注册和部署 MLflow 模型的改进
  • 已将 dbml-local 升级到最新版本 0.4.1
  • 已修复和指定的 threshold 参数一起导出的模型的 bug
  • 已添加对导出 OneVsRestModel、GBTClassificationModel 的支持
• 升级了一些已安装的 Python 库：
  • pip：从 9.0.1 升级到 10.0.0b2
  • setuptools：从 38.5.1 升级到 39.0.1
  • tornado：4.5.3 到 5.0.1
  • wheel：0.30.0 到 0.31.0
• 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
• 已将 Azure Data Lake Store SDK 从 2.0.11 升级到 2.2.8。
• 已将 GPU 群集的 CUDA 从 8.0 升级到 9.0，CUDNN 从 6.0 升级到 7.0。

Apache Spark

Databricks Runtime 4.1 包括 Apache Spark 2.3.0。 此版本包括 Databricks Runtime 4.0 (EoS) 中包含的所有修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：

• [SPARK-24007][SQL] FloatType 和 DoubleType 的 EqualNullSafe 可能会按 codegen 生成错误的结果。
• [SPARK-23942][PYTHON][SQL] 使 PySpark 中的收集成为查询执行器侦听器的操作
• [SPARK-23815][CORE] Spark 写入器动态分区覆盖模式可能无法在多级分区上写入输出
• [SPARK-23748][SS] 修复 SS 连续进程不支持 SubqueryAlias 问题
• [SPARK-23963][SQL] 在针对基于文本的 Hive 表的查询中正确处理大量列
• [SPARK-23867][SCHEDULER] 在 logWarning 中使用 droppedCount
• [SPARK-23816][CORE] 终止的任务应忽略 FetchFailures。
• [SPARK-23809][SQL] 应当通过 getOrCreate 设置活动 SparkSession
• [SPARK-23966][SS] 在通用 CheckpointFileManager 接口中重构所有检查点文件写入逻辑
• [SPARK-21351][SQL] 基于子输出更新为 Null 性
• [SPARK-23847][PYTHON][SQL] 将 asc_nulls_first、asc_nulls_last 添加到 PySpark
• [SPARK-23822][SQL] 改善有关 Parquet 架构不匹配的错误消息
• [SPARK-23823][SQL] 在 transformExpression 中保留来源
• [SPARK-23838][WEBUI] 正在运行的 SQL 查询在 SQL 选项卡中显示为“已完成”
• [SPARK-23802][SQL] PropagateEmptyRelation 可能在未解决的状态下退出查询计划
• [SPARK-23727][SQL] 支持在 parquet 中向下推送 DateType 的筛选器
• [SPARK-23574][SQL] 当正好有 1 个数据读取器工厂时，在 DataSourceV2ScanExec 中报告 SinglePartition。
• [SPARK-23533][SS] 添加对 ContinuousDataReader 的 startOffset 的更改支持
• [SPARK-23491][SS] 从 ContinuousExecution 重新配置中删除显式作业取消
• [SPARK-23040][CORE] 返回随机读取器的可中断迭代器
• [SPARK-23827][SS] StreamingJoinExec 应确保将输入数据分区成特定数目的分区
• [SPARK-23639][SQL] 在初始化 SparkSQL CLI 中的元存储客户端之前获取令牌
• [SPARK-23806]使用…时，Broadcast.unpersist 可能导致严重异常
• [SPARK-23599][SQL] 在 Uuid 表达式中使用 RandomUUIDGenerator
• [SPARK-23599][SQL] 从伪随机数添加 UUID 生成器
• [SPARK-23759][UI] 无法将 Spark UI 绑定到特定的主机名/IP
• [SPARK-23769][CORE] 删除不必要地禁用 Scalastyle 检查的注释
• [SPARK-23614][SQL] 修复使用缓存时错误地重复使用交换的问题
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs 应正确保存/还原 CSE 状态
• [SPARK-23729][CORE] 解析 glob 时遵循 URI 分段
• [SPARK-23550][CORE] 清理 Utils
• [SPARK-23288][SS] 修正 parquet 接收器的输出指标
• [SPARK-23264][SQL] 修复 literals.sql.out 中的 scala.MatchError
• [SPARK-23649][SQL] 跳过 UTF-8 中禁止的字符
• [SPARK-23691][PYTHON] 尽量在 PySpark 测试中使用 sql_conf 实用工具
• [SPARK-23644][CORE][UI] 对 SHS 中的 REST 调用使用绝对路径
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) 应在 PySpark 中生成 None
• [SPARK-23623][SS] 避免在 CachedKafkaConsumer 中并发使用缓存的使用者
• [SPARK-23670][SQL] 修复 SparkPlanGraphWrapper 上的内存泄漏
• [SPARK-23608][CORE][WEBUI] 在 attachSparkUI 和 detachSparkUI 函数之间添加 SHS 同步，以避免 Jetty 处理程序的并发修改问题
• [SPARK-23671][CORE] 修复状态以启用 SHS 线程池。
• [SPARK-23658][LAUNCHER] InProcessAppHandle 在 getLogger 中使用错误的类
• [SPARK-23642][DOCS] 修复 AccumulatorV2 子类 isZero scaladoc
• [SPARK-22915][MLLIB] spark.ml.feature 的从 N 到 Z 的流测试
• [SPARK-23598][SQL] 使 BufferedRowIterator 中的方法成为公共方法，以避免大型查询出现运行时错误
• [SPARK-23546][SQL] 在 CodegenContext 中重构无状态方法/值
• [SPARK-23523][SQL] 修复规则 OptimizeMetadataOnlyQuery 导致的错误结果
• [SPARK-23462][SQL] 改善 StructType 中的缺少字段错误消息
• [SPARK-23624][SQL] 在 Datasource V2 中修订方法 pushFilters 的文档
• [SPARK-23173][SQL] 从 JSON 加载数据时避免创建损坏的 parquet 文件
• [SPARK-23436][SQL] 仅当分区可以强制转换为日期时，才推断分区
• [SPARK-23406][SS] 启用流间自联接
• [SPARK-23490][SQL] 在 CreateTable 中检查包含现有表的 storage.locationUri
• [SPARK-23524]不应检查大型本地随机块是否已损坏。
• [SPARK-23525][SQL] 支持外部 hive 表的 ALTER TABLE CHANGE COLUMN COMMENT
• [SPARK-23434][SQL] Spark 不应针对 HDFS 文件路径的元数据目录发出警告
• [SPARK-23457][SQL] 首先在 ParquetFileFormat 中注册任务完成侦听器
• [SPARK-23329][SQL] 修正三角函数的文档
• [SPARK-23569][PYTHON] 允许 pandas_udf 使用 python3 样式的类型批注函数
• [SPARK-23570][SQL] 在 HiveExternalCatalogVersionsSuite 中添加 Spark 2.3.0
• [SPARK-23517][PYTHON][PYTHON] 使 _pyspark.util.exception_message 通过 Py4JJavaError 生成 Java 端的跟踪
• [SPARK-23508][CORE] 修复“blockManagerIdCache 导致 oom”情况下的 BlockmanagerId
• [SPARK-23448][SQL] 阐明文档中的 JSON 和 CSV 解析器行为
• [SPARK-23365][CORE] 终止空闲执行器时，不要调整 num 执行器。
• [SPARK-23438][DSTREAMS] 修复驱动程序崩溃时因使用 WAL 产生的 DStreams 数据丢失问题
• [SPARK-23475][UI] 还显示跳过的阶段
• [SPARK-23518][SQL] 避免在用户只想读取和写入数据帧时发生元存储访问
• [SPARK-23406][SS] 启用流间自联接
• [SPARK-23541][SS] 允许 Kafka 源采用比文章分区数量更大的并行度来读取数据
• [SPARK-23097][SQL][SS] 将文本套接字源迁移到 V2
• [SPARK-23362][SS] 将 Kafka Microbatch 源迁移到 v2
• [SPARK-23445]ColumnStat 重构
• [SPARK-23092][SQL] 将 MemoryStream 迁移到 DataSourceV2 API
• [SPARK-23447][SQL] 清理文本的 codegen 模板
• [SPARK-23366]提高 ReadAheadInputStream 中的热读取路径
• [SPARK-22624][PYSPARK] 公开范围分区随机排序

维护更新

请参阅 Databricks Runtime 4.1 维护更新。

系统环境

• 操作系统：Ubuntu 16.04.4 LTS
• Java：1.8.0_162
• Scala：2.11.8
• Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
• R：R 版本 3.4.4 (2018-03-15)
• GPU 群集：安装了以下 NVIDIA GPU 库：
  • Tesla 驱动程序 375.66
  • CUDA 9.0
  • cuDNN 7.0

已安装的 Python 库

已安装的 R 库

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）