Databricks Runtime 14.2

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 14.2 的相关信息。

Databricks 于 2023 年 11 月发布了此版本。

新增功能和改进

• 现在已忽略 CACHE SELECT
• 改进的缓存行为
• 修复了采用 DML 命令处理的已损坏文件
• 支持共享群集中用于 protobuf 和 Avro 相关函数的架构注册表
• foreachBatch 和 StreamingListener 支持
• 行级并发已正式发布并默认启用
• 增量共享：收件人可以对使用删除矢量的共享表执行批处理、CDF 和流式处理查询（公共预览版）
• Unity Catalog 外部表的浅表克隆（公共预览版）
• 新的磁盘缓存分配算法
• 使用架构注册表连接器的 from_avro 添加了对架构演变的支持
• 更快的多线程统计信息收集
• Delta 文件上 DeltaSource 中的下推筛选器
• 在共享群集上支持 Scala 标量用户定义的函数（公共预览版）

现在已忽略 CACHE SELECT

现在已忽略 SQL 命令 CACHE SELECT，以支持改进的缓存算法。 请参阅通过 Azure Databricks 上的缓存优化性能。

改进的缓存行为

Spark 计划程序提供的 DiskCache 放置现在加快了分区分配、在群集自动缩放期间改进了均衡，并让查询执行更加一致。

修复了采用 DML 命令处理的已损坏文件

DML 命令 DELETE、UPDATE 和 MERGE INTO 不再遵循读取选项 ignoreCorruptFiles 和 ignoreMissingFiles。 在表中遇到不可读的文件时，即使指定了这些选项，这些命令现在也会失败。

支持共享群集中用于 protobuf 和 Avro 相关函数的架构注册表

现在可以在共享群集中将 from_avro、to_avro、from_protobuf 和 to_protobuf Python 函数与架构注册表配合使用。

foreachBatch 和 StreamingListener 支持

现在可以在共享群集中将 foreachBatch() 和 StreamingListener API 与结构化流式处理配合使用。 请参阅使用 foreachBatch 写入任意的数据接收器和在 Azure Databricks 上监视结构化流式处理查询。

行级并发普遍提供，并在默认情况下处于打开状态

行级别并发通过在行级别检测更改来减少并发写入操作之间的冲突。 仅无分区的表上才支持行级并发，包括使用 liquid 聚类的表。 启用了删除向量的 Delta 表上会默认启用行级并发。 请参阅行级并发的写入冲突。

增量共享：收件人可以对使用删除矢量的共享表执行批处理、CDF 和流式处理查询（公共预览版）

增量共享收件人现在可以对使用删除向量的共享表执行批处理、CDF 和流式处理查询。 在 Databricks Runtime 14.1 上，他们只能执行批处理查询。 请参阅将带有删除向量或列映射的表添加到共享中、读取启用了删除向量或列映射的表和读取启用了删除向量或列映射的表。

Unity Catalog 外部表的浅表克隆（公共预览版）

现在，可以将浅表克隆与 Unity Catalog 外部表一起使用。 请参阅适用于 Unity Catalog 表的浅表克隆。

新的磁盘缓存分配算法

Spark 计划程序现在使用新的磁盘缓存算法。 该算法改进了节点间的磁盘利用率和分区分配，加快了初始和群集缩放事件后的分配速度。 粘滞缓存分配提升了各运行间的一致性，并减少了在重新均衡操作期间移动的数据。

使用架构注册表连接器的 from_avro 添加了对架构演变的支持

现在可以启用管道，以便在检测到已演变的记录时重启。 以前，如果 from_avro 连接器发生了架构演变，新列会返回 null。 请参阅读取和写入流 Avro 数据。

更快的多线程统计信息收集

在运行 CONVERT TO DELTA 或从 Iceberg 和 Parquet 表克隆时，小型群集上的统计信息收集速度可快至 10 倍。 请参阅转换为 Delta Lake 和克隆 Parquet 和 Iceberg 表。

Delta 文件上 DeltaSource 中的下推筛选器

为了实现更佳的利用率，Delta 表流式处理查询上的分区筛选器现在会向下推送到 Delta，然后再进行速率限制。

在共享群集上支持 Scala 标量用户定义的函数（公共预览版）

现在可以在配置了共享访问模式的已启用 Unity Catalog 的群集上使用 Scala 用户定义的标量函数。 请参阅用户定义的标量函数 - Scala。

库升级

• 升级了 Python 库：
  • fastjsonschema 已从 2.18.0 升级到 2.19.0
  • filelock 从 3.12.3 到 3.12.4
  • googleapis-common-protos 从 1.60.0 到 1.61.0
• 升级了 R 库：
• 升级了 Java 库：

Apache Spark

Databricks Runtime 14.2 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.1 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：

• [SPARK-45592] [DBRRM-624] 恢复“[SC-146977][SQL]在AQE 中使用 InMemoryTableScanExec 的正确性问题”
• [SPARK-45524] [DBRRM-625] 恢复“[SC-146319][PYTHON][SQL] 初始支持...
• [SPARK-45433] [DBRRM-621] 恢复“[SC-145163][SQL]修复 CSV/JSON 架构推断...
• [SPARK-45592] [SC-146977][SQL]AQE 中使用 InMemoryTableScanExec 的正确性问题
• [SPARK-45354] 恢复“[SC-143991][SQL] 自下而上解析函数”
• [SPARK-45680] [TEST-ONLY][SASP-2347][CONNECT] 修复测试
• [SPARK-45680] [CONNECT] 发布会话
• [SPARK-43380] [SC-146726][ES-897115][SQL] 修复 Avro 读取速度变慢的问题
• [SPARK-45649] [SC-146742][SQL] 统一 OffsetWindowFunctionFrame 的准备框架
• [SPARK-40820] [SC-146727][PYTHON][SQL]从 Json 创建 StructType
• [SPARK-45620] [SC-146225][PYTHON] 修正与 Python UDTF 相关的面向用户的 API 以使用驼峰命名法
• [SPARK-45727] [SC-146978][SS] 移除水印传播模拟中未使用的映射
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] 目录方法避免 pandas 转换
• [SPARK-45574] [SC-146106][SQL]添加 :: 语法作为强制转换的简写
• [SPARK-45670] [SC-146725][CORE][3.5] 在 K8s 上部署时 SparkSubmit 不支持 --total-executor-cores
• [SPARK-45661] [SC-146594][SQL][PYTHON]在 StructType、MapType 和 ArrayType 中添加 toNullable
• [SPARK-45524] [SC-146319][PYTHON][SQL] 对 Python 数据源读取 API 的初始支持
• [SPARK-45542] [SC-145892][CORE] 将 setSafeMode(HdfsConstants.SafeModeAction, boolean) 替换为 setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: 在动态筛选后处理空输入分区
• [SPARK-45454] [SC-144846][SQL] 将表的默认所有者设置为 current_user
• [SPARK-45554] [SC-146875][PYTHON] 将灵活参数引入 assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL]使用 DataFrame ID 对 CollectMetrics 进行语义验证
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] 改进 Spark Connect 上 JVM 依赖属性的错误消息。
• [SPARK-45646] [SC-146276][SQL] 移除 Hive 2.0 之前的硬编码时间变量
• [SPARK-43380] [SC-146726][ES-897115][SQL] 修复 Avro 读取速度变慢的问题
• [SPARK-45545] [SC-146484][CORE]在任何创建 SparkTransportConf 的地方传递 SSLOptions
• [SPARK-45641] [SC-146260][UI] 显示 AllJobsPage 上的应用程序开始时间
• [SPARK-40154] [SC-146491][Python][Docs]更正 Dataframe.cache docstring 中的存储级别
• [SPARK-45626] [SC-146259][SQL]将 _LEGACY_ERROR_TEMP_1055 转换为 REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] 对带有 COUNT 聚合的嵌套相关标量子查询的正确性修正
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] 将观察到的指标应用于 Observation 对象
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][MINOR]对于 StreamingForeachBatchHelper 的 Scaladoc 改进
• [SPARK-45616] [SC-146120][CORE]避免使用 ParVector，它不会传播 ThreadLocals 或 SparkSession
• [SPARK-45604] [SC-146105][SQL] 在 Parquet 矢量化读取器上添加对 INT64 -> DateTime 转换的 LogicalType 检查
• [SPARK-44649] [SC-145891][SQL] 运行时筛选器支持传递等效的创建端表达式
• [SPARK-41674] [SC-128408][SQL] 运行时筛选器应支持多级随机联接端作为筛选器创建端
• [SPARK-45547] [SC-146228][ML] 使用内置函数验证矢量
• [SPARK-45558] [SC-145890][SS] 推出流式处理有状态运算符的元数据文件
• [SPARK-45618] [SC-146252][CORE]删除 BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] 改进小数转换的测试覆盖率
• [SPARK-44837] [SC-146020][SQL]更改 ALTER TABLE ALTER PARTITION 列错误消息
• [SPARK-45561] [SC-146264][SQL]在 MySQLDialect 中为 TINYINT 添加适当的转换
• [SPARK-45632] [SC-146255][SQL] 启用 AQE 时，表缓存应避免不必要的 ColumnarToRow
• [SPARK-45569] [SC-145932][SQL]分配名称给错误 _LEGACY_ERROR_TEMP_2152
• [SPARK-44784] [SC-141015][CONNECT] 使 SBT 测试具有封闭性。
• [SPARK-45452] [SC-144836][SQL] 改进 InMemoryFileIndex 以使用 FileSystem.listFiles API
• [SPARK-44735] [SC-146186][SQL] 当按行插入具有相同名称的列而这些列不匹配时添加警告消息
• [SPARK-45351] [SC-144791][CORE] 将 spark.shuffle.service.db.backend 默认值更改为 ROCKSDB
• [SPARK-45553] [SC-145906][PS] 弃用 assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE]将 DeterministicLevel 公开为 DeveloperApi
• [SPARK-45549] [SC-145895][CORE] 移除 CoarseGrainedSchedulerBackend 中未使用的 numExistingExecutors
• [SPARK-45609] [SC-146030][CONNECT]在 SparkThrowable proto 消息中包含 SqlState
• [SPARK-45595] [SC-146037]在错误消息中公开 sqlstate
• [SPARK-45628] [SC-146123][ML] 改进 .mllib.linalg.SparseVector 的 vector_to_array
• [SPARK-45009] [SC-145884][SQL][跟进]为 AQE InSubquery 测试关闭联接条件中的反关联
• [SPARK-45576] [SC-145883][CORE]删除 ReloadingX509TrustManagerSuite 中不必要的调试日志
• [SPARK-45485] [SC-145719][CONNECT] 用户代理改进：使用 SPARK_CONNECT_USER_AGENT env 变量并包含特定于环境的属性
• [SPARK-45508] [SC-145513][CORE] 添加“-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED”，因此平台可以访问 Java 9 及以上版本上的清理器
• [SPARK-45595] 恢复“[SC-146037] 在错误消息中公开 SQLSTATE”
• [SPARK-45595] [SC-146037]在错误消息中公开 SQLSTATE
• [SPARK-45112] 恢复“[SC-143259][SQL] 使用 UnresolvedFunction...
• [SPARK-45257] [SC-143411][CORE] 默认启用 spark.eventLog.compress
• [SPARK-45586] [SC-145899][SQL] 减少具有大型表达式树的计划的编译器延迟
• [SPARK-45517] [SC-145691][CONNECT][14.x] 展开更多异常构造函数以支持错误框架参数
• [SPARK-45581] [SC-145896]强制使用 SQLSTATE。
• [SPARK-45427] [SC-145590][CORE]添加 RPC SSL 设置到 SSLOptions 和 SparkTransportConf
• [SPARK-45261] [SC-143357][CORE] 修复 EventLogFileWriters 以将 none 作为编解码器处理
• [SPARK-45582] [SC-145897][SS] 确保在输出模式流式处理聚合中调用提交后不使用存储实例
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML：将“rowTag”设为必选项
• [SPARK-45392] [SC-144362][CORE][SQL][SS] 将 Class.newInstance() 替换为 Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL]当时间戳与指定的 timestampFormat 不匹配时，修正 CSV/JSON 架构推理
• [SPARK-45458] [SC-145011][SQL]在 bitwiseExpression 中将 IllegalArgumentException 转换为 SparkIllegalArgumentException
• [SPARK-45564] [SC-145735][SQL] 使用“BloomFilterAggregate”表达式来简化“DataFrameStatFunctions.bloomFilter”
• [SPARK-45566] [SC-145777][PS] 支持 Spark 上 Pandas API 的类 Pandas 测试工具
• [SPARK-45498] [SC-145509][CORE]跟进：忽略旧阶段的任务完成…
• [SPARK-45483] [SC-145152][CONNECT]更正 connect.functions 中的函数组
• [SPARK-45577] [SC-145781][PYTHON]修正 UserDefinedPythonTableFunctionAnalyzeRunner 以从命名参数中传递折叠的值
• [SPARK-45009] [SC-138223][FOLLOW UP]为 AetherSQLQuerySuite 关闭联接条件中的反关联
• [SPARK-45415] [SC-145344] 允许在 RocksDB 状态存储中选择性禁用“fallocate”
• [SPARK-45500] [SC-145134][CORE][WEBUI] 显示 MasterPage 中异常完成的驱动程序数量
• [SPARK-44120] [SC-144349][PYTHON] 支持 Python 3.12
• [SPARK-45439] [SC-145589][SQL][UI]减少 LiveStageMetrics.accumIdsToMetricType 的内存使用
• [SPARK-45565] [SC-145717][UI]任务列表在阶段详细信息中不必要的 JSON.stringify 和 JSON.parse 循环
• [SPARK-45567] [SC-145718][CONNECT]在 org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run 中删除冗余的 if
• [SPARK-45112] [SC-143259][SQL]在 SQL 数据集函数中使用基于 UnresolvedFunction 的解析
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT]使 add_artifact 请求具有幂等性
• [SPARK-44913] [SC-144326][SQL] DS V2 支持向下推送具有 magic 方法的 V2 UDF
• [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark 连接存在 overwrite_partitions bug
• [SPARK-45491] [SC-145622]添加缺少的 SQLSTATES 2/2
• [SPARK-45009] [SC-145620][SC-138223][SQL] 在联接条件中使谓词子查询去相关
• [SPARK-45377] [SC-144377][CORE]在 NettyLogger 中处理 InputStream
• [SPARK-45248] [SC-143759][CORE] 设置 spark ui 服务器的超时
• [SPARK-44594] [SC-145611][SS] 移除 kafka 连接器中的冗余方法参数
• [SPARK-45539] [SC-145621][SS] 添加断言和日志以指示追加模式下流式处理聚合查询需要水印定义
• [SPARK-44262] [SC-145639][SQL] 将 dropTable 和 getInsertStatement 添加到 JdbcDialect
• [SPARK-45516] [SC-145480][CONNECT]在 SparkThrowable proto 消息中包含 QueryContext
• [SPARK-45310] [SC-145127][CORE] 报告随机块状态应在停用迁移期间尊重随机服务
• [SPARK-45521] [SC-145487][ML] 避免在 VectorAssembler 中重新计算 nnz
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT]将 current_database() 列别名更改为 current_schema()
• [SPARK-45116] [SC-145142][SQL] 为 JdbcDialect createTable 的参数添加一些注释
• [SPARK-45495] [SC-145529][core] 禁用动态分配时，支持 k8s 群集的阶段级任务资源配置文件
• [SPARK-45487] [SC-145559]修正 SQLSTATE 和临时错误
• [SPARK-45505] [SC-145550][PYTHON]重构 analyzeInPython 以使其可重用
• [SPARK-45132] [SC-145425][SQL]修正函数调用的 IDENTIFIER
• [SPARK-45213] [SC-145020][SQL] [SQL]分配名称给错误 _LEGACY_ERROR_TEMP_2151
• [SPARK-45416] [SC-145126][CONNECT] Arrow 结果的健全性检查一致性
• [SPARK-45163] [SC-143386][SQL] 合并 UNSUPPORTED_VIEW_OPERATION 和 UNSUPPORTED_TABLE_OPERATION 并修复某些问题
• [SPARK-45421] [SC-144814][SQL]捕获涉及 InlineCTE 的 AnalysisException
• [SPARK-43664] [SC-145404][CONNECT][PS] 在 Spark Connect 上对具有 Pandas-on-Spark 对象的 ps.sql 引发异常。
• [SPARK-45402] [SC-145371][SQL][PYTHON] 为“eval”和“terminate”方法添加 UDTF API，以使用以前的“analyze”结果
• [SPARK-36112] [SC-67885][SQL] 使用 DecorrelateInnerQuery 框架支持相关的 EXISTS 和 IN 子查询
• [SPARK-45383] [SC-144929][SQL] 修复使用非现有表按时间顺序查看时的错误消息
• [SPARK-43254] [SC-143318][SQL] 将名称分配到错误 _LEGACY_ERROR_TEMP_2018
• [SPARK-45204] [SC-145167][CONNECT] 将可选的 ExecuteHolder 添加到 SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] 使数据集缓存的默认存储级别可配置
• [SPARK-45192] [SC-143194][UI] 修复 graphviz 边缘的过期 lineInterpolate 参数
• [SPARK-45467] [SC-145146][CORE] 将 Proxy.getProxyClass() 替换为 Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][ML][CONNECT] 添加数组汇编程序特征转换器
• [SPARK-44855] [SC-145226][CONNECT]将 ExecuteGrpcResponseSender 附加到 ExecuteResponseObserver 的小调整
• [SPARK-45398] [SC-144796][SQL] 在 Like 表达式的 sql() 中追加 ESCAPE
• [SPARK-45494] [SC-145129][CORE][PYTHON]为 PythonWorkerUtils 引入用于读取/写入字节数组的实用函数
• [SPARK-45464] [SC-145125][CORE] 修复 network-yarn 分发构建
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB]为 StorageLevel 引入一个映射器
• [SPARK-45450] [SC-145009][PYTHON] 根据 PEP8 修正导入：pyspark.pandas 和 pyspark (core)
• [SPARK-45475] [SC-145018][SQL]在 JdbcUtils 中使用 DataFrame.foreachPartition 而不是 RDD.foreachPartition
• [SPARK-45271] [SC-143778][SQL] 将 _LEGACY_ERROR_TEMP_1113 合并到 TABLE_OPERATION 中并删除 QueryCompilationErrors 中某些不使用的方法
• [SPARK-45449] [SC-145013][SQL] JDBC 表的缓存失效问题
• [SPARK-45473] [SC-145017][SQL] 修正 RoundBase 的错误消息
• [SPARK-43299] [SC-145022][SS][CONNECT]在 Scala 客户端中转换 StreamingQueryException
• [SPARK-45474] [SC-145014][CORE][WEBUI] 支持 MasterPage JSON API 中的顶级筛选
• [SPARK-45205] [SC-145012][SQL] CommandResultExec 以重写迭代器方法，从而避免触发多个作业。
• [SPARK-45472] [SC-145004][SS] RocksDB 状态存储不需要重新检查检查点路径是否存在
• [SPARK-45470] [SC-145010][SQL] 避免粘贴 hive orc 压缩类型的字符串值
• [SPARK-45448] [SC-144829][PYTHON]根据 PEP8 修正导入：pyspark.testing、pyspark.mllib、pyspark.resource 和 pyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON]根据 PEP8 修正导入：pyspark.errors 和 pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT]减少默认的 spark.connect.jvmStacktrace.maxSize
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] DataFrame 方法检查同一会话
• [SPARK-45413] [SC-144847][CORE] 添加有关准备停止 LevelDB 支持的警告
• [SPARK-45462] [SC-144848][CORE][WEBUI] 在 ApplicationPage 中显示 Duration
• [SPARK-44527] [SC-144855][SQL]如果 ScalarSubquery 的 maxRows 为 0，将其替换为 null
• [SPARK-45401] [SC-144854][PYTHON] 在 UDTF 接口中添加新方法 cleanup
• [SPARK-43704] [SC-144849][CONNECT][PS] 支持 to_series() 的 MultiIndex
• [SPARK-45424] [SC-144888][SQL]修复仅当前缀匹配时 TimestampFormatter 返回可选的分析结果
• [SPARK-45441] [SC-144833][PYTHON]为 PythonWorkerUtils 引入更多实用函数
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] 验证 DataFrame.__init__ 中的计划和会话
• [SPARK-45408] [SC-144810][CORE]向 TransportConf 添加 RPC SSL 设置
• [SPARK-45432] [SC-144818][CORE] 移除弃用的 Hadoop-2 LocatedFileStatus 构造函数
• [SPARK-45434] [SC-144819][ML][CONNECT]LogisticRegression 会检查训练标签
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT]添加 DataType.fromDDL 到 PySpark
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] 从 DataFrame 构造函数中删除 schema
• [SPARK-45404] [SC-144799][CORE] 支持 AWS_ENDPOINT_URL env 变量
• [SPARK-43620] [SC-144792][CONNECT][PS] 修复 Pandas API 依赖于不支持的功能的问题
• [SPARK-45354] [SC-143991][SQL] 从下到上解析函数
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] 为工件 API 添加重试。 改进错误处理（[SPARK-45093] 的跟进）。
• [SPARK-45120] [SC-142780][SPARK-45150][UI] 将 d3 从 v3 升级到 v7(v7.8.5)，并在 UI 中应用 API 更改
• [SPARK-44838] [SC-143983][SQL] raise_error 改进
• [SPARK-45312] [SC-143754][SQL][UI] 支持在执行页上切换显示/隐藏计划 svg
• [SPARK-45378] [SC-144448][CORE]添加 convertToNettyForSsl 到 ManagedBuffer
• [SPARK-44762] [SC-144338][CONNECT][CORE]SparkConnect.addJobTag 和 Connect SparkSession.addTag 的文档说明
• [SPARK-45383] 优雅地处理未解析的 RelationTimeTravel
• [SPARK-45347] [SC-144512][SQL][CONNECT]在 FetchErrorDetailsResponse 中包含 SparkThrowable
• [SPARK-45012] [SC-141512][SQL]CheckAnalysis 应在 AnalysisException 中抛出内联计划
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] 如果计划无效，DataFrame.{columns, colRegex, explain} 应引发异常
• [SPARK-45227] [SC-144233][CORE]修复 CoarseGrainedExecutorBackend 的细微线程安全问题
• [SPARK-45266] [SC-144171][PYTHON]重构 ResolveFunctions 分析器规则，以延迟使用表参数时进行横向联接
• [SPARK-45266] 恢复“[SC-144171][PYTHON] 重构 ResolveFunctions 分析器规则以在使用表参数时延迟执行横向联接”
• [SPARK-45371] [SC-144389][CONNECT] 修复 Spark Connect Scala 客户端中的阴影问题
• [SPARK-45057] [SC-144214][CORE]避免在 keepReadLock 为 false 时获取读取锁
• [SPARK-45385] [SC-144357][SQL] 弃用 spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] 移除 SQL 配置 spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON]重构 ResolveFunctions 分析器规则，以延迟使用表参数时进行横向联接
• [SPARK-45362] [SC-144198][PYTHON] 在 Python UDTF“eval”方法使用之前排除 PARTITION BY 表达式
• [SPARK-45346] [SC-143925][SQL] 在合并架构时，Parquet 架构推理应尊重区分大小写的标志
• [SPARK-45341] [SC-143933][CORE] 更正 KVStore.java 的注释中的标题级别，使 sbt doc 在 Java 17 中成功运行
• [SPARK-45334] [SC-143914][SQL]删除 parquetSchemaConverter 中的误导性注释
• [SPARK-45337] [SC-143932][CORE] 重构 AbstractCommandBuilder#getScalaVersion 以移除 Scala 2.12 的检查
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] DataFrame 方法跳过 pandas 转换
• [SPARK-43662] [SC-143923][PS][CONNECT]支持 Spark Connect 中的 merge_asof
• [SPARK-44126] [SC-143751][CORE] 当目标执行程序停用时，随机迁移失败计数不应增加
• [SPARK-44550] [SC-119768][SQL] 为 ANSI 下的 null IN (empty list) 启用正确性修复
• [SPARK-45316] [SC-143783][CORE][SQL] 向 HadoopRDD 和 NewHadoopRDD 添加新参数 ignoreCorruptFiles/ignoreMissingFiles
• [SPARK-45093] [SC-143414][CONNECT][PYTHON]addArtifacts 查询的错误报告
• [SPARK-44756] [SC-143787][CORE]当 RetryingBlockTransferor 无法启动重试时，执行程序会挂起
• [SPARK-45333] [SC-143768][CORE]修复了一个与 spark.eventLog.buffer.kb 相关的单元错误
• [SPARK-45317] [SC-143750][SQL][CONNECT] 在异常的堆栈跟踪中处理 null 文件名
• [SPARK-45191] [SC-143407][SQL]InMemoryTableScanExec simpleStringWithNodeId 添加列信息
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] 通过 sql() 支持映射和数组参数
• [SPARK-45138] [SC-143309][SS] 定义一个新的错误类，并在到 DFS 的检查点状态为失败时应用它
• [SPARK-45297] [SC-143644][SQL] 移除在 SPARK-31827 中添加的 dateformatter 的变通方法
• [SPARK-44345] [SC-143593][CORE] 如果启用了随机迁移，则将 unknown shuffle map output 日志级别降低到 WARN
• [SPARK-44463] [SC-143251][SS][CONNECT] 改进 Connect steaming Python 工作器的错误处理
• [SPARK-45207] [SC-143603][SQL][CONNECT] 为 Scala 客户端实现错误扩充
• [SPARK-45240] [SC-143602][SQL][CONNECT] 为 Python 客户端实现错误扩充
• [SPARK-45216] [SC-143288][SQL] 修复非确定性种子数据集 API
• [SPARK-45251] [SC-143419][CONNECT]为 FetchErrorDetails 添加 client_type 字段
• [SPARK-45137] [SC-143001][CONNECT] 支持参数化的 sql() 中的映射/数组参数
• [SPARK-45224] [SC-143257][PYTHON] 添加使用 map 和 array 作为 sql() 的参数的示例
• [SPARK-44622] [SC-143205][SQL][CONNECT]实现 FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] 对于具有不受支持的源的 Trigger.AvailableNow，回退以执行单个批处理而不使用包装器
• [SPARK-44823] [14.x][SC-142979][PYTHON] 将 black 更新至 23.9.1 并修复错误检查
• [SPARK-45078] [SC-142954][SQL]修复 array_insert ImplicitCastInputTypes 不起作用的问题
• [SPARK-44579] [SC-138428][SQL] 支持在 SQLExecution 中在取消时中断
• [SPARK-45252] [SC-143371][CORE] 转义注释中的大于/小于号以使 sbt doc 成功执行
• [SPARK-45189] [SC-142973][SQL]从 TableIdentifier 创建 UnresolvedRelation 时应包括目录字段
• [SPARK-45229] [SC-143254][CORE][UI] 显示 MasterPage 中处于 SUBMITTED 状态并在等待的驱动程序数
• [SPARK-43453] 恢复“[SC-143135][PS] 当 axis=1 适用于 concat 时，忽略 MultiIndex 的 names”

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 22.04.3 LTS
• Java：Zulu 8.72.0.17-CA-linux64
• Scala：2.12.15
• Python：3.10.12
• R：4.3.1
• Delta Lake：3.0.0

已安装的 Python 库

已安装的 R 库

R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）