Databricks Runtime 15.3

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.3 的相关信息。

Databricks 于 2024 年 6 月发布此版本。

新增功能和改进

PySpark DataSources 现在支持流读取和写入

PySpark DataSources 允许从自定义数据源读取数据以及将数据写入自定义数据接收器，现在支持流读取和写入。 请参阅 PySpark 自定义数据源。

使用删除功能禁用列映射

现在可以使用 DROP FEATURE 禁用 Delta 表上的列映射并降级表协议。 请参阅禁用列映射。

公共预览版中的变体类型语法和函数

现已在 Spark DataFrames 和 SQL 中提供对于将半结构化数据用作 VARIANT 类型的本机 Apache Spark 支持。 请参阅查询变体数据。

公共预览版中 Delta Lake 的变体类型支持

现在可以使用 VARIANT 在 Delta Lake 支持的表中存储半结构化数据。 请参阅Delta Lake 中的变体支持。

支持视图中不同的架构演变模式

CREATE VIEW 和 ALTER VIEW 现在允许设置架构绑定模式，从而增强视图处理基础对象中的架构更改的方式。 此功能使视图能够容忍或适应基础对象中的架构更改。 它解决了查询架构中因对对象定义所做的修改而引起的更改。

支持添加到 Spark Connect Scala 客户端的 observe() 方法

Spark Connect Scala 客户端现在支持 Dataset.observe() 方法。 通过对这些方法的支持，你可以使用 ds.observe("name", metrics...) 或 ds.observe(observationObject, metrics...) 方法定义在 Dataset 对象上观察的指标。

改进了 Auto Loader 的流重启延迟

此版本包含一项改进 Auto Loader 的流重启延迟的更改。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 通过此更改，你应会看到具有较大状态的流的开始时间有所改进，例如，具有大量已引入文件的流。

以 pyarrow.Table 的形式返回 DataFrame

为了支持将 DataFrame 直接写入 Apache Arrow pyarrow.Table 对象，此版本包括 DataFrame.toArrow() 函数。 若要了解有关使用 PySpark 中的 Arrow 的详细信息，请参阅 PySpark 中的 Apache Arrow。

某些窗口函数的性能改进

此版本包括改进某些 Spark 窗口函数（特别是不包含 ORDER BY 子句或 window_frame 参数的函数）的性能的更改。 在这些情况下，系统可重写查询，以使用聚合函数运行查询。 这一更改通过使用部分聚合并避免运行窗口函数的开销，使查询运行得更快。 Spark 配置参数 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 控制此优化，且默认设置为 true。 若要关闭此优化，请将 spark.databricks.optimizer.replaceWindowsWithAggregates.enabled 设置为 false。

添加了对 try_mod 函数的支持

此版本添加了对 PySpark try_mod() 函数的支持。 此函数支持 ANSI SQL 兼容的两个数值相除的整数余数计算。 如果除数参数为 0，则 try_mod() 函数返回 null，而不是引发异常。 可使用 try_mod() 函数，而不是 mod 或 %（如果除数参数为 0 且启用了 ANSI SQL，它们会引发异常）。

list_secrets() 中支持可选范围参数

使用此版本可以将 list_secrets() 表函数的结果限制在特定范围内。

Bug 修复

Spark UI 中的 WriteIntoDeltaCommand 指标现在会正确显示

此版本包含一项对 Execute WriteIntoDeltaCommand 节点的 Spark UI 的 SQL 选项卡中显示的指标的修复。 以前，此节点显示的指标全部为零。

Pandas API 中的 groupby() 函数忽略了 as_index=False 参数

此版本包括对 Spark 上 Pandas API 中 groupby() 函数问题的修补程序。 在此修补程序之前，对聚合列进行重新标记的 groupby() 和 as_index=False 参数在生成的 DataFrame 中不包括组键。

引用其他函数输出的多个窗口函数的分析错误

此版本修复了 Spark 查询具有多个连续窗口函数时（此情况下，窗口函数引用来自其他窗口函数的输出）可能出现的问题。 在极少数情况下，系统可能会删除其中一个引用，从而导致评估查询时出错。 此修补程序对这些引用进行了投影，以确保查询评估。 此更改由 Spark 配置参数 spark.databricks.optimizer.collapseWindows.projectReferences（默认设置为 true）控制。 若要关闭此更改，请将 spark.databricks.optimizer.collapseWindows.projectReferences 设置为 false。

库升级

• 升级了 Python 库：
  • filelock 已从 3.13.1 升级到 3.13.4
• 升级了 R 库：
• 升级了 Java 库：
  • org.rocksdb.rocksdbjni 已从 8.3.2 升级到 8.11.4

Apache Spark

Databricks Runtime 15.3 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.2 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：

• [SPARK-48288] [SC-166141] 为连接器强制转换表达式添加源数据类型
• [SPARK-48175] [SC-166341][SQL][PYTHON] 为 SER/DE 在元数据中存储排序规则信息，而不是在类型中
• [SPARK-48172] [SC-166078][SQL] 修复 JDBCDialects 中的转义问题
• [SPARK-48186] [SC-165544][SQL] 添加对 AbstractMapType 的支持
• [SPARK-48031] [SC-166523] 架构绑定的祖父旧视图
• [SPARK-48369] [SC-166566][SQL][PYTHON][CONNECT] 添加函数 timestamp_add
• [SPARK-48330] [SC-166458][SS][PYTHON] 修复大型触发器间隔下的 python 流式处理数据源超时问题
• [SPARK-48369] 还原“[SC-166494][SQL][PYTHON][CONNECT] 添加函数 timestamp_add”
• [SPARK-48336] [SC-166495][PS][CONNECT] 在 Spark Connect 中实现 ps.sql
• [SPARK-48369] [SC-166494][SQL][PYTHON][CONNECT] 添加函数 timestamp_add
• [SPARK-47354] [SC-165546][SQL] 添加对变体表达式的排序规则支持
• [SPARK-48161] [SC-165325][SQL] 修复已还原的 PR - 添加对 JSON 表达式的排序规则支持
• [SPARK-48031] [SC-166391] 分解 viewSchemaMode 配置，添加 SHOW CREATE TABLE 支持
• [SPARK-48268] [SC-166217][CORE] 为 SparkContext.setCheckpointDir 添加配置
• [SPARK-48312] [ES-1076198][SQL] 改进 Alias.removeNonInheritableMetadata 性能
• [SPARK-48294] [SC-166205][SQL] 在 nestedTypeMissingElementTypeError 中处理小写
• [SPARK-47254] [SC-158847][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_325[1-9]
• [SPARK-47255] [SC-158749][SQL] 将名称分配给错误类 _LEGACY_ERROR_TEMP_323[6-7] 和 _LEGACY_ERROR_TEMP_324[7-9]
• [SPARK-48310] [SC-166239][PYTHON][CONNECT] 缓存属性必须返回副本
• [SPARK-48308] [SC-166152][Core] 在 FileSourceStrategy 中统一获取没有分区列的数据架构
• [SPARK-48301] [SC-166143][SQL] 将 CREATE_FUNC_WITH_IF_NOT_EXISTS_AND_REPLACE 重命名为 CREATE_ROUTINE_WITH_IF_NOT_EXISTS_AND_REPLACE
• [SPARK-48287] [SC-166139][PS][CONNECT] 应用内置的 timestamp_diff 方法
• [SPARK-47607] [SC-166129] 添加结构化记录框架的文档
• [SPARK-48297] [SC-166136][SQL] 修复具有 char/varchar 的回归 TRANSFORM 子句
• [SPARK-47045] [SC-156808][SQL] 将 IllegalArgumentException 替换为 sql/api 中的 SparkIllegalArgumentException
• [SPARK-46991] [SC-156399][SQL] 将 IllegalArgumentException 替换为 catalyst 中的 SparkIllegalArgumentException
• [SPARK-48031] [SC-165805][SQL] 支持视图架构演变
• [SPARK-48276] [SC-166116][PYTHON][CONNECT] 为 SQLExpression 添加缺少的 __repr__ 方法
• [SPARK-48278] [SC-166071][PYTHON][CONNECT] 优化 Cast 的字符串表示形式
• [SPARK-48272] [SC-166069][SQL][PYTHON][CONNECT] 添加函数 timestamp_diff
• [SPARK-47798] [SC-162492][SQL] 扩充小数值的读取失败的错误消息
• [SPARK-47158] [SC-158078][SQL] 向 _LEGACY_ERROR_TEMP_(2134|2231) 分配正确的名称和 sqlState
• [SPARK-48218] [SC-166082][CORE] TransportClientFactory.createClient 可能会 NPE 导致 FetchFailedException
• [SPARK-48277] [SC-166066] 改进 ErrorClassesJsonReader.getErrorMessage 的错误消息
• [SPARK-47545] [SC-165444][CONNECT] Scala 客户端的数据集 observe 支持
• [SPARK-48954] [SC-171672][SQL] 添加 try_mod 函数
• [SPARK-43258] [SC-158151][SQL] 分配名称给错误 _LEGACY_ERROR_TEMP_202[3,5]
• [SPARK-48267] [SC-165903][SS] 使用 SPARK-47305 进行回归 e2e 测试
• [SPARK-48263] [SC-165925] 对非 UTF8_BINARY 字符串的排序规则函数支持
• [SPARK-48260] [SC-165883][SQL] 在 ParquetIOSuite 的一个测试中禁用输出提交器协调
• [SPARK-47834] [SC-165645][SQL][CONNECT] 在 SQLImplicits 中使用 @deprecated 标记已弃用的函数
• [SPARK-48011] [SC-164061][Core] 将 LogKey 名称存储为值以避免生成新的字符串实例
• [SPARK-48074] [SC-164647][Core] 提高 JSON 日志记录的可读性
• [SPARK-44953] [SC-165866][CORE] 当与另一个 DA 支持的机制一起启用随机跟踪时记录警告
• [SPARK-48266] [SC-165897][CONNECT] 将包对象 org.apache.spark.sql.connect.dsl 移动到测试目录
• [SPARK-47847] [SC-165651][CORE] 弃用 spark.network.remoteReadNioBufferConversion
• [SPARK-48171] [SC-165178][CORE] 清理 o.rocksdb.Logger 的已弃用构造函数的使用
• [SPARK-48235] [SC-165669][SQL] 直接传递联接而不是所有参数到 getBroadcastBuildSide 和 getShuffleHashJoinBuildSide
• [SPARK-48224] [SC-165648][SQL] 禁止映射键成为变体类型
• [SPARK-48248] [SC-165791][PYTHON] 修复嵌套数组以遵循旧版配置 inferArrayTypeFromFirstElement
• [SPARK-47409] [SC-165568][SQL] 添加对 StringTrim 类型的函数/表达式的排序规则的支持（对于 UTF8_BINARY 和 LCASE）
• [SPARK-48143] [ES-1095638][SQL] 对 UnivocityParser 和 FailureSafeParser 之间的控制流使用轻型异常
• [SPARK-48146] [SC-165668][SQL] 修复 With 表达式子断言中的聚合函数
• [SPARK-48161] 还原“[SC-165325][SQL] 添加对 JSON 表达式的排序规则支持”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48180] [SC-165632][SQL] 改进使用 TABLE 参数的 UDTF 调用忘记多个 PARTITION/ORDER BY exprs 周围的括号时的错误
• [SPARK-48002] [SC-164132][PYTHON][SS] 在 PySpark StreamingQueryListener 中添加观察到的指标的测试
• [SPARK-47421] [SC-165548][SQL] 添加对 URL 表达式的排序规则支持
• [SPARK-48161] [SC-165325][SQL] 添加对 JSON 表达式的排序规则支持
• [SPARK-47359] [SC-164328][SQL] 支持 TRANSLATE 函数处理排序后的字符串
• [SPARK-47365] [SC-165643][PYTHON] 将 toArrow() DataFrame 方法添加到 PySpark
• [SPARK-48228] [SC-165649][PYTHON][CONNECT] 在 ApplyInXXX 中实现缺少的函数验证
• [SPARK-47986] [SC-165549][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
• [SPARK-47963] 还原“[CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制”
• [SPARK-47963] [CORE] 使外部 Spark 生态系统可以使用结构化日志记录机制
• [SPARK-48208] [SC-165547][SS] 如果启用了有限内存使用，请跳过从 RocksDB 提供内存使用指标的步骤
• [SPARK-47566] [SC-164314][SQL] 支持 SubstringIndex 函数处理排序后的字符串
• [SPARK-47589] [SC-162127][SQL] Hive-Thriftserver：将带变量的 logError 迁移到结构化记录框架
• [SPARK-48205] [SC-165501][PYTHON] 移除 Python 数据源的 private[sql] 修饰符
• [SPARK-48173] [SC-165181][SQL] CheckAnalysis 应看到整个查询计划
• [SPARK-48197] [SC-165520][SQL] 避免无效 lambda 函数的断言错误
• [SPARK-47318] [SC-162573][CORE] 将 HKDF round 添加到 AuthEngine 密钥派生，以遵循标准 KEX 做法
• [SPARK-48184] [SC-165335][PYTHON][CONNECT] 始终在客户端设置 Dataframe.sample 的种子
• [SPARK-48128] [SC-165004][SQL] 对于 BitwiseCount / bit_count 表达式，修复布尔类型输入的 codegen 语法错误
• [SPARK-48147] [SC-165144][SS][CONNECT] 本地 Spark 会话被删除时移除客户端侦听器
• [SPARK-48045] [SC-165299][PYTHON] 具有 multi-agg-relabel 的 Pandas API groupby 忽略 as_index=False
• [SPARK-48191] [SC-165323][SQL] 支持 UTF-32 用于字符串编码和解码
• [SPARK-45352] [SC-137627][SQL] 消除可折叠的窗口分区
• [SPARK-47297] [SC-165179][SQL] 添加对格式表达式的排序规则支持
• [SPARK-47267] [SC-165170][SQL] 添加对哈希表达式的排序规则支持
• [SPARK-47965] [SC-163822][CORE] 避免 TypedConfigBuilder 和 OptionalConfigEntry 中的 orNull
• [SPARK-48166] [SQL] 避免在 VariantExpressionEvalUtils 中使用 BadRecordException 作为面向用户的错误
• [SPARK-48105] [SC-165132][SS] 修复状态存储卸载和快照之间的争用条件
• [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
• [SPARK-47719] [SC-161909][SQL] 更改 spark.sql.legacy.timeParse…
• [SPARK-48035] [SC-165136][SQL] 修复 try_add/try_multiply 语义等同于 add/multiply 的问题
• [SPARK-48107] [SC-164878][PYTHON] 从 Python 分发中排除测试
• [SPARK-46894] [SC-164447][PYTHON] 将 PySpark 错误条件移动到独立 JSON 文件中
• [SPARK-47583] [SC-163825][CORE] SQL 核心：将带变量的 logError 迁移到结构化记录框架
• [SPARK-48064] 还原“[SC-164697][SQL] 更新例程相关错误类的错误消息”
• [SPARK-48048] [SC-164846][CONNECT][SS] 添加了对 Scala 的客户端侦听器支持
• [SPARK-48064] [SC-164697][SQL] 更新例程相关错误类的错误消息
• [SPARK-48056] [SC-164715][CONNECT][PYTHON] 如果引发了 SESSION_NOT_FOUND 错误且未收到部分响应，则重新执行计划
• [SPARK-48124] [SC-165009][CORE] 默认禁用 Connect-Repl 的结构化日志记录
• [SPARK-47922] 还原“[SC-163997][SQL] 实现 try_parse_json 表达式”
• [SPARK-48065] [SC-164817][SQL] SPJ：allowJoinKeysSubsetOfPartitionKeys 过于严格
• [SPARK-48114] [SC-164956][CORE] 预编译模板正则表达式以避免不必要的工作
• [SPARK-48067] [SC-164773][SQL] 修复变体默认列
• [SPARK-47922] [SC-163997][SQL] 实现 try_parse_json 表达式
• [SPARK-48075] [SC-164709][SS] 添加 PySpark avro 函数的类型检查
• [SPARK-47793] [SC-164324][SS][PYTHON] 为 Python 流数据源实现 SimpleDataSourceStreamReader
• [SPARK-48081] [SC-164719] 修复 NTile.checkInputDataTypes() 中的 ClassCastException（如果参数不可折叠或类型错误）
• [SPARK-48102] [SC-164853][SS] 跟踪在报告流式查询进度时获取源/接收器指标的持续时间
• [SPARK-47671] [SC-164854][Core] 在 log4j2.properties.template 中启用结构化日志记录并更新文档
• [SPARK-47904] [SC-163409][SQL] 使用 enableStableIdentifiersForUnionType 时，在 Avro 架构中保留大小写
• [SPARK-48058] [SC-164695][SPARK-43727][PYTHON][CONNECT] UserDefinedFunction.returnType 分析 DDL 字符串
• [SPARK-46922] [SC-156102][CORE][SQL] 不要包装运行时用户面临的错误
• [SPARK-48047] [SC-164576][SQL] 降低空 TreeNode 标记的内存压力
• [SPARK-47934] [SC-164648][CORE] 确保 HistoryServer URL 重定向中的尾随斜杠
• [SPARK-47921] [SC-163826][CONNECT] 修复 ExecuteHolder 中的 ExecuteJobTag 创建
• [SPARK-48014] [SC-164150][SQL] 将 EvaluatePython 中的 makeFromJava 错误更改为面向用户的错误
• [SPARK-47903] [SC-163424][PYTHON] 在 PySpark Variant 库中添加对剩余标量类型的支持
• [SPARK-48068] [SC-164579][PYTHON] mypy 应具有 --python-executable 参数
• [SPARK-47846] [SC-163074][SQL] 在 from_json 表达式中添加对 Variant 类型的支持
• [SPARK-48050] [SC-164322][SS] 查询开始时的日志逻辑计划
• [SPARK-47810] [SC-163076][SQL] 在联接条件中将等效表达式替换为 <=>
• [SPARK-47741] [SC-164290] 在分析器中添加了堆栈溢出处理
• [SPARK-48053] [SC-164309][PYTHON][CONNECT] SparkSession.createDataFrame 应针对不支持的选项发出警告
• [SPARK-47939] [SC-164171][SQL] 实现新的分析器规则以在 ExplainCommand 和 DescribeQueryCommand 中移动 ParameterizedQuery
• [SPARK-48063] [SC-164432][CORE] 默认启用 spark.stage.ignoreDecommissionFetchFailure
• [SPARK-48016] [SC-164280][SQL] 使用十进制时修复 try_divide 函数中的 bug
• [SPARK-48033] [SC-164291][SQL] 修复在默认列中使用的 RuntimeReplaceable 表达式
• [SPARK-48010] [SC-164051][SQL][ES-1109148] 避免在 resolveExpression 中重复调用 conf.resolver
• [SPARK-48003] [SC-164323][SQL] 添加 hll 草图聚合的排序规则支持
• [SPARK-47994] [SC-164175][SQL] 修复了 SQLServer 中 CASE WHEN 列筛选器下推的 bug
• [SPARK-47984] [SC-163837][ML][SQL] 将 MetricsAggregate/V2Aggregator#serialize/deserialize 更改为呼叫 SparkSerDeUtils#serialize/deserialize
• [SPARK-48042] [SC-164202][SQL] 在类级别将时间戳格式化程序与时区配合使用，而不是在方法级别创建副本
• [SPARK-47596] [SPARK-47600][SPARK-47604][SPARK-47804] 结构化日志迁移
• [SPARK-47594] [SPARK-47590][SPARK-47588][SPARK-47584] 结构化日志迁移
• [SPARK-47567] [SC-164172][SQL] 支持 LOCATE 函数使用排序后的字符串
• [SPARK-47764] [SC-163820][CORE][SQL] 基于 ShuffleCleanupMode 清理随机依赖项
• [SPARK-48039] [SC-164174][PYTHON][CONNECT] 更新 group.apply 的错误类
• [SPARK-47414] [SC-163831][SQL] 对正则表达式的小写排序规则支持
• [SPARK-47418] [SC-163818][SQL] 为小写 unicode 感知的 contains、startsWith 和 endsWith 添加手工制作的实现，并优化 UTF8_BINARY_LCASE
• [SPARK-47580] [SC-163834][SQL] SQL 催化剂：消除错误日志中的未命名变量
• [SPARK-47351] [SC-164008][SQL] 添加对 StringToMap 和 Mask 字符串表达式的排序规则支持
• [SPARK-47292] [SC-164151][SS] safeMapToJValue 应考虑 null 类型化值
• [SPARK-47476] [SC-164014][SQL] 支持 REPLACE 函数处理排序后的字符串
• [SPARK-47408] [SC-164104][SQL] 修复使用 StringType 的 mathExpressions
• [SPARK-47350] [SC-164006][SQL] 添加对 SplitPart 字符串表达式的排序规则支持
• [SPARK-47692] [SC-163819][SQL] 修复隐式强制转换中的默认 StringType 含义
• [SPARK-47094] [SC-161957][SQL] SPJ：在存储桶不相等时动态重新平衡桶数
• [SPARK-48001] [SC-164000][CORE] 移除 SparkContext 中未使用的 private implicit def arrayToArrayWritable
• [SPARK-47986] [SC-163999][CONNECT][PYTHON] 服务器关闭默认会话时无法创建新会话
• [SPARK-48019] [SC-164121] 使用字典和 null 修复 ColumnVector/ColumnarArray 中的错误行为
• [SPARK-47743] [SPARK-47592][SPARK-47589][SPARK-47581][SPARK-47586][SPARK-47593][SPARK-47595][SPARK-47587][SPARK-47603] 结构化日志迁移
• [SPARK-47999] [SC-163998][SS] 在 HDFS 支持的状态存储提供程序中改进快照创建和添加/移除状态缓存映射中的条目相关的日志记录
• [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences
• [SPARK-47712] [SC-161871][CONNECT] 允许连接插件创建和处理数据集
• [SPARK-47411] [SC-163351][SQL] 支持 StringInstr 和 FindInSet 函数来处理排序后的字符串
• [SPARK-47360] [SC-163014][SQL] 排序规则支持：Overlay、FormatString、Length、BitLength、OctetLength、SoundEx、Luhncheck
• [SPARK-47413] [SC-163323][SQL] - 向 substr/left/right 添加排序规则支持
• [SPARK-47983] [SC-163835][SQL] 将 spark.sql.pyspark.legacy.inferArrayTypeFromFirstElement.enabled 降级为内部
• [SPARK-47964] [SC-163816][PYTHON][CONNECT] 在 pyspark-connect 中隐藏 SQLContext 和 HiveContext
• [SPARK-47985] [SC-163841][PYTHON] 使用 lit 简化函数
• [SPARK-47633] [SC-163453][SQL] 在 LateralJoin#allAttributes 中包含右侧计划输出以实现更一致的标准化
• [SPARK-47909] 还原“[PYTHON][CONNECT] 父 DataFrame 类...
• [SPARK-47767] [SC-163096][SQL] 在 TakeOrderedAndProjectExec 中显示偏移值
• [SPARK-47822] [SC-162968][SQL] 禁止哈希表达式对 Variant 数据类型进行哈希处理
• [SPARK-47490] [SC-160494][SS] 修复 RocksDB 记录器构造函数的用法以避免弃用警告
• [SPARK-47417] 还原“[SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences”
• [SPARK-47352] [SC-163460][SQL] 修复 Upper、Lower、InitCap 排序规则感知
• [SPARK-47909] [PYTHON][CONNECT] Spark Connect 和 Spark Classic 的父 DataFrame 类
• [SPARK-47417] [SC-162872][SQL] 排序规则支持：Ascii、Chr、Base64、UnBase64、Decode、StringDecode、Encode、ToBinary、FormatNumber、Sentences

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

• 操作系统：Ubuntu 22.04.4 LTS
• Java：Zulu 8.78.0.19-CA-linux64
• Scala：2.12.18
• Python：3.11.0
• R：4.3.2
• Delta Lake：3.2.0

已安装的 Python 库

已安装的 R 库

R 库安装自 Posit Package Manager CRAN 快照。

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）