Databricks Runtime 15.4 LTS

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.4 LTS 的相关信息。

Databricks 于 2024 年 8 月发布此版本。

注意

LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。

行为更改

使用 VARIANT 作为 Python UDF、UDAF 或 UDTF 的输入或输出类型会引发异常

[中断性变更] 在 Databricks Runtime 15.3 及更高版本中,调用使用 VARIANT 类型作为参数或返回值的任何 Python 用户定义函数 (UDF)、用户定义聚合函数 (UDAF) 或用户定义表函数 (UDTF) 将引发异常。 进行此更改是为了防止由于其中一个函数返回的无效值而可能发生的问题。 若要了解有关 VARIANT 类型的详细信息,请参阅使用 VARIANT 存储半结构化数据

更改了视图的默认架构绑定模式

视图现在使用常规强制转换规则来进行架构补偿,从而适应底层查询中的架构更改。 这与之前默认的 BINDING 模式不同,如果在引用视图时无法执行安全强制转换,后者会引发错误。

请参阅 CREATE VIEWcast 函数

禁止在布尔表达式外部使用未记录的 ! 语法来代替 NOT

在此版本中,不再允许在布尔表达式外部使用 ! 来代替 NOT。 例如,CREATE ... IF ! EXISTSIS !NULL! NULL 列或字段属性、! IN!BETWEEN 等语句必须替换为 CREATE ... IF NOT EXISTSIS NOT NULLNOT NULL 列或字段属性、NOT INNOT BETWEEN

此更改可确保一致性、遵守 SQL 标准,并使 SQL 更易于移植。

布尔前缀运算符 !(例如,!is_mgr!(true AND false))不受此更改影响。

禁止视图中的未记录列定义语法

Databricks 支持使用命名列和列注释的 CREATE VIEW。 以前,允许指定 NOT NULL 约束或 DEFAULT 列类型。 在此版本中,不能再使用此语法。

此更改可确保一致性、遵守 SQL 标准,并支持将来的增强功能。

Spark 和 Photon 中针对 Base64 解码的一致错误处理

此版本改变了 Photon 处理 Base64 解码错误的方式,使之与 Spark 对这些错误的处理匹配。 在进行这些更改之前,Photon 和 Spark 代码生成路径有时无法引发解析异常,而 Spark 解释的执行则正确引发了 IllegalArgumentExceptionConversionInvalidInputError。 此更新确保 Photon 在出现 Base64 解码错误期间始终引发与 Spark 相同的异常,从而提供更可预测和更可靠的错误处理。

在无效列上添加 CHECK 约束现在会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类

在 Databricks Runtime 15.3 及更高版本中,包含某个引用无效列名的 CHECK 约束的 ALTER TABLE ADD CONSTRAINT 语句会返回 UNRESOLVED_COLUMN.WITH_SUGGESTION 错误类,这是为了提供更有用的错误消息。 以前返回 INTERNAL_ERROR

新增功能和改进

UTF-8 验证函数

此版本引入了以下 UTF-8 字符串验证函数:

  • is_valid_utf8 验证字符串是否为有效的 UTF-8 字符串。
  • make_valid_utf8 使用替换字符将可能无效的 UTF-8 字符串转换为有效的 UTF-8 字符串
  • 如果输入不是有效的 UTF-8 字符串,则 validate_utf8 会引发错误。
  • 如果输入不是有效的 UTF-8 字符串,则 try_validate_utf8 返回 NULL

具有 Scala UDF 的类型化数据集 API

此版本新增了对类型化数据集 API 的支持,可在支持共享访问模式的 Unity Catalog 计算上使用 Scala 用户定义的函数(不包括用户定义的聚合函数)。 请参阅类型化数据集 API

使用 ALTER TABLE 启用 UniForm Iceberg

现在可以在现有表上启用 UniForm Iceberg,而无需重写数据文件。 请参阅通过更改现有表来启用

try_url_decode 函数

此版本引入了 try_url_decode 函数,可以对 URL 编码字符串进行解码。 如果字符串的格式不正确,该函数将返回 NULL,而不是引发错误。

选择性地允许优化器依赖于未强制实施的外键约束

若要提高查询性能,现在可以在对表执行 CREATEALTER 操作时,在 FOREIGN KEY 约束上指定 RELY 关键字。

并行化作业运行实现选择性覆盖

使用 replaceWhere 进行的选择性覆盖现在可以并行运行删除数据和插入新数据的作业,从而提高查询性能和群集利用率。

通过选择性覆盖改进了更改数据源的性能

使用 replaceWhere 对具有更改数据源的表进行选择性覆盖时,不再为插入的数据写入单独的更改数据文件。 这些操作使用基础 Parquet 数据文件中的隐藏 _change_type 列来记录更改,从而避免写入放大。

降低了 COPY INTO 命令的查询延迟

此版本包含一项更改,可降低 COPY INTO 命令的查询延迟。 此改进是通过使 RocksDB 状态存储的状态加载变为异步来实现的。 进行此更改后,你应会看到具有较大状态的查询(例如,具有大量已引入文件的查询)的启动时间有所改善。

支持删除 CHECK 约束表功能

现在可以使用 ALTER TABLE table_name DROP FEATURE checkConstraints 从 Delta 表中删除 checkConstraints 表功能。 请参阅禁用 CHECK 约束

单用户计算支持精细访问控制、具体化视图和流式处理表(公共预览版)

当工作区启用无服务器计算时,Databricks Runtime 15.4 LTS 增加了对单用户计算的精细访问控制的支持。 当查询访问以下任何对象时,Databricks Runtime 15.4 LTS 上的单用户计算资源会将查询传递给无服务器计算以运行数据筛选:

  • 基于用户不具有 SELECT 特权的表定义的视图。
  • 动态视图。
  • 应用了行筛选器或列掩码的表。
  • 具体化视图和流式处理表。

运行 Databricks Runtime 15.3 及更低版本的单用户计算不支持这些查询。

有关详细信息,请参阅单用户计算上的精细访问控制

扩展了对 Java 和 Scala 库的支持

从 Databricks Runtime 15.4 LTS 开始,当你使用 Unity Catalog 时,与 Databricks Runtime 捆绑的所有 Java 和 Scala 库都会在所有计算访问模式下可用。 若要详细了解启用 Unity Catalog 的计算上的语言支持,请参阅 Unity Catalog 的计算访问模式限制

扩展了对 Scala 数据集操作的支持

在此版本中,使用共享访问模式的启用了 Unity Catalog 的计算资源支持以下 Scala Dataset 操作:mapmapPartitionsforeachPartitionflatMapreducefilter

Scala 在 Unity Catalog 共享计算上为正式发布版

在此版本中,Scala 通常可在支持共享访问模式 Unity Catalog 的计算上使用,其中包括对标量用户定义函数 (UDF) 的支持。 不支持结构化流式处理、Hive UDF 和 Hive 用户定义聚合函数。 有关限制的完整列表,请参阅 Unity Catalog 的计算访问模式限制

Bug 修复

库升级

  • 升级了 Python 库:
    • azure-core(从 1.30.1 升级到 1.30.2)
    • google-auth(从 2.29.0 升级到 2.31.0)
    • google-cloud-storage(从 2.16.0 升级到 2.17.0)
    • google-resumable-media(从 2.7.0 升级到 2.7.1)
    • googleapis-common-protos(从 1.63.0 升级到 1.63.2)
    • mlflow-skinny(从 2.11.3 升级到 2.11.4)
    • proto-plus(从 1.23.0 升级到 1.24.0)
    • s3transfer(从 0.10.1 升级到 0.10.2)
  • 升级了 R 库:
  • 升级了 Java 库:
    • com.databricks.databricks-sdk-java(从 0.17.1 升级到 0.27.0)
    • com.ibm.icu.icu4j(从 72.1 升级到 75.1)
    • io.delta.delta-sharing-client_2.12 已从 1.0.5 升级到 1.1.1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider(从 1.6.1-linux-x86_64 升级到 1.6.2-linux-x86_64)

Apache Spark

Databricks Runtime 15.4 LTS 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 15.3 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他 bug 修复和改进:

  • [SPARK-49054] [DBRRM-1153][SQL] 列默认值应支持 current_* 函数
  • [SPARK-48503] [DBRRM-1150][SC-172196][SQL] 如果标量子查询中的表达式绑定到外部行,则允许在其基础上进行分组
  • [SPARK-48873] [SC-171061][SQL] 在 JSON 分析程序中使用 UnsafeRow。
  • [SPARK-48834] [BEHAVE-79][SC-170972][SQL] 在查询编译期间禁用对 Python 标量 UDF、UDTF、UDAF 的变体输入/输出
  • [SPARK-48441] [SC-170980][SQL][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTrim 行为
  • [SPARK-48440] [SC-170895][SQL][WARMFIX] 修复非 UTF8_BINARY 排序规则的 StringTranslate 行为
  • [SPARK-48872] [SC-170866][PYTHON] 减少 _capture_call_site 的开销
  • [SPARK-48862] [SC-170845][PYTHON][CONNECT] 未启用 INFO 级别时避免调用 _proto_to_string
  • [SPARK-48852] [SC-170837][CONNECT] 修复连接中的字符串剪裁函数
  • [SPARK-48791] [SC-170658][CORE] 修复使用 CopyOnWriteArrayList 的累加器注册开销导致的性能回归
  • [SPARK-48118] [SQL] 支持 SPARK_SQL_LEGACY_CREATE_HIVE_TABLE 环境变量
  • [SPARK-48241] [SC-165811][SQL] char/varchar 类型列的 CSV 分析失败
  • [SPARK-48168] [SC-166900][SQL] 添加按位移位运算符支持
  • [SPARK-48148] [SC-165630][CORE] JSON 对象在读取为 STRING 时不应被修改
  • [SPARK-46625] [SC-170561] 以标识符子句为参考的 CTE
  • [SPARK-48771] [SC-170546][SQL] 加快大型查询计划的 LogicalPlanIntegrity.validateExprIdUniqueness 的速度
  • [SPARK-48831] [BEHAVE-76][SC-170554][CONNECT] 使 cast 的默认列名与 Spark 经典版兼容
  • [SPARK-48623] [SC-170544][CORE] 结构化日志记录迁移 [第 2 部分]
  • [SPARK-48296] [SC-166138][SQL] 对 to_xml 的 Codegen 支持
  • [SPARK-48027] [SC-165154][SQL] 用于多级联接的 InjectRuntimeFilter 应检查子联接类型
  • [SPARK-46957] [SC-169807][CORE][15.x][15.3][15.2] 停用迁移的 shuffle 文件应该能够从执行程序中进行清理
  • [SPARK-48686] [SC-170365][SQL] 提高 ParserUtils.unescapeSQLString 的性能
  • [SPARK-48798] [SC-170588][PYTHON] 为基于 SparkSession 的分析引入 spark.profile.render
  • [SPARK-48048] [SC-169099] 还原“[SC-164846][CONNECT][SS] 为 Scala 添加了客户端侦听器支持”
  • [SPARK-47910] [SC-168929][CORE] 在 DiskBlockObjectWriter closeResources 时关闭流以避免内存泄漏
  • [SPARK-48816] [SC-170547][SQL] UnivocityParser 中的间隔转换器的简写
  • [SPARK-48589] [SC-170132][SQL][SS] 向状态数据源添加选项 snapshotStartBatchId 和 snapshotPartitionId
  • [SPARK-48280] [SC-170293][SQL] 使用表达式遍历改进排序规则测试外围应用
  • [SPARK-48837] [SC-170540][ML] 在 CountVectorizer 中,每次转换仅读取一次二进制参数,而不是每行读取一次
  • [SPARK-48803] [SC-170541][SQL] 在 Orc(De)serializer 中引发内部错误以与 ParquetWriteSupport 保持一致
  • [SPARK-48764] [SC-170129][PYTHON] 从用户堆栈中筛选掉与 IPython 相关的帧
  • [SPARK-48818] [SC-170414][PYTHON] 简化 percentile 函数
  • [SPARK-48479] [SC-169079][SQL] 支持在分析程序中创建标量和表 SQL UDF
  • [SPARK-48697] [SC-170122][LC-4703][SQL] 添加排序规则感知字符串筛选器
  • [SPARK-48800] [SC-170409][CONNECT][SS] 对 ClientStreamingQuerySuite 执行 deflake 操作
  • [SPARK-48738] [SC-169814][SQL] 从内置函数别名 randompositionmodcardinalitycurrent_schemausersession_userchar_lengthcharacter_length 的版本开始进行更正
  • [SPARK-48638] [SC-169575][CONNECT] 为数据帧添加 ExecutionInfo 支持
  • [SPARK-48064] [SC-164697][SQL] 更新例程相关错误类的错误消息
  • [SPARK-48810] [CONNECT] 会话 stop() API 应具有幂等性,在会话已被服务器关闭的情况下不会失败
  • [SPARK-48650] [15.x][PYTHON] 从 IPython Notebook 显示正确的调用站点
  • [SPARK-48271] [SC-166076][SQL] 将 RowEncoder 中的匹配错误转换为 UNSUPPORTED_DATA_TYPE_FOR_ENCODER
  • [SPARK-48709] [SC-169603][SQL] 修复了 DataSourceV2 CTAS 的 varchar 类型解析不匹配问题
  • [SPARK-48792] [SC-170335][SQL] 修复了将部分列列表的 INSERT 操作回归到包含 char/varchar 的表的问题
  • [SPARK-48767] [SC-170330][SQL] 修复了 variant 类型数据无效时出现的一些错误提示
  • [SPARK-48719] [SC-170339][SQL] 修复了第一个参数为 null 时出现的 RegrSlopeRegrIntercept 计算 bug
  • [SPARK-48815] [SC-170334][CONNECT] 停止连接会话时更新环境
  • [SPARK-48646] [SC-169020][PYTHON] 优化 Python 数据源 API docstring 和类型提示
  • [SPARK-48806] [SC-170310][SQL] 在 url_decode 失败时传递实际异常
  • [SPARK-48653] [SC-169267][PYTHON] 修复了无效的 Python 数据源错误类引用
  • [SPARK-47777] [SC-168818] 修复了 Python 流式处理数据源连接测试
  • [SPARK-48732] [SC-169793][SQL] 清理与 JdbcDialect.compileAggregate 相关的已弃用 API 使用
  • [SPARK-48675] [SC-169538][SQL] 修复了带已排序列的缓存表
  • [SPARK-48623] [SC-169034][CORE] 结构化日志记录迁移
  • [SPARK-48655] [SC-169542][SQL] SPJ:添加针对聚合查询的随机跳过测试
  • [SPARK-48586] [SC-169808][SS] 通过在 load() 中对 RocksDBFileManager 中的文件映射进行深层复制,移除 doMaintenance() 中的锁获取
  • [SPARK-48799] [Backport][15.x][SC-170283][SS] 重构运算符元数据读/写和调用方的版本控制
  • [SPARK-48808] [SC-170309][SQL] 修复通过 Hive 1.2.1 连接 thriftserver 时出现的 NPE,此时的结果架构为空
  • [SPARK-48715] [SC-170291][SQL] 将 UTF8String 验证集成到排序规则感知字符串函数实现中
  • [SPARK-48747] [SC-170120][SQL] 向 UTF8String 添加码位迭代器
  • [SPARK-48748] [SC-170115][SQL] 以 UTF8String 格式缓存 numChars
  • [SPARK-48744] [SC-169817][Core] 日志条目应仅构造一次
  • [SPARK-46122] [SC-164313][SQL] 默认将 spark.sql.legacy.createHiveTableByDefault 设置为 false
  • [SPARK-48765] [SC-170119][DEPLOY] 增强 SPARK_IDENT_STRING 的默认值评估
  • [SPARK-48759] [SC-170128][SQL] 添加有关自 Spark 3.4 以来出现的 CREATE TABLE AS SELECT 行为变更的迁移文档
  • [SPARK-48598] [SC-169484][PYTHON][CONNECT] 在数据帧操作中传播缓存的架构
  • [SPARK-48766] [SC-170126][PYTHON] 记录 extractionelement_attry_element_at 之间的行为差​​异
  • [SPARK-48768] [SC-170124][PYTHON][CONNECT] 不应缓存 explain
  • [SPARK-48770] [Backport][15.x][SC-170133][SS] 更改为在驱动程序上读取一次运算符元数据,以检查我们是否可以找到用于会话窗口聚合查询的 numColsPrefixKey 的信息
  • [SPARK-48656] [SC-169529][CORE] 执行长度检查并在 CartesianRDD.getPartitions 中引发 COLLECTION_SIZE_LIMIT_EXCEEDED 错误
  • [SPARK-48597] [SC-168817][SQL] 在逻辑计划的文本表示形式中引入 isStreaming 属性的标记
  • [SPARK-48472] [SC-169044][SQL] 启用带已排序字符串的反射表达式
  • [SPARK-48699] [SC-169597][SQL] 优化排序规则 API
  • [SPARK-48682] [SC-169812][SQL][BEHAVE-58] 在 UTF8_BINARY 字符串的 InitCap 表达式中使用 ICU
  • [SPARK-48282] [SC-169813][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑(StringReplace、FindInSet)
  • [SPARK-47353] [SC-169599][SQL] 为 Mode 表达式启用排序规则支持
  • [SPARK-48320] [SPARK-48490] 从 OSS Spark 同步最新的日志记录特征和测试用例
  • [SPARK-48629] [SC-169479] 将剩余代码迁移到结构化日志记录框架
  • [SPARK-48681] [SC-169469][SQL][BEHAVE-58] 在 UTF8_BINARY 字符串的 Lower/Upper 表达式中使用 ICU
  • [SPARK-48573] [15.x][SC-169582][SQL] 升级 ICU 版本
  • [SPARK-48687] [Backport][15.x][SS] 添加变更以执行状态架构验证并更新驱动程序以进行有状态查询
  • [SPARK-47579] [15.x][SC-167310][CORE][PART4] 将带变量的 logInfo 迁移到结构化日志记录框架
  • [SPARK-48008] [SC-167363][1/2] 在 Spark Connect 中支持 UDAF
  • [SPARK-48713] [SQL] 当 baseObject 为字节数组时,为 UnsafeRow.pointTo 添加索引范围检查
  • [SPARK-48718] [ES-1159458][SC-169581][SQL] 处理并解决在应用 DeduplicateRelation 规则期间解析 cogroup 中的反序列化程序时遇到的情况
  • [SPARK-48578] [SC-169505][SQL] 添加 UTF8 字符串验证相关函数
  • [SPARK-48670] [SC-169598][SQL] 当给定无效排序规则名称时,提供建议作为错误消息的一部分
  • [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA… …RK-48291] Java 端的结构化日志框架
  • [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib:将带变量的 logWarn 迁移到结构化日志记录框架
  • [SPARK-48705] [SC-169590][PYTHON] 当 worker_main 通过 pyspark 启动时显式使用 worker_main
  • [SPARK-48706] [SC-169589][PYTHON] 更高阶函数中的 Python UDF 不应引发内部错误
  • [SPARK-48498] [BEHAVE-38][SC-168060][SQL] 始终在谓词中进行字符型填充
  • [SPARK-48662] [SC-169533][SQL] 使用排序规则修复了 StructsToXml 表达式
  • [SPARK-48482] [SC-167702][PYTHON][15.x] dropDuplicates 和 dropDuplicatesWIthinWatermark 应接受可变长度参数
  • [SPARK-48678] [SC-169463][CORE] SparkConf.get(ConfigEntry) 的性能优化
  • [SPARK-48576] [SQL] 将 UTF8_BINARY_LCASE 重命名为 UTF8_LCASE
  • [SPARK-47927] [SC-164123][SQL]:修复 UDF 解码器中的为 Null 性属性
  • [SPARK-47579] [SC-165297][CORE][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架(新)
  • [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal 不使用已弃用的方法
  • [SPARK-48431] [SC-167290][LC-4066][SQL] 不将已排序列上的谓词转发给文件读取器
  • [SPARK-47579] 还原“[SC-165297][CORE][PART1] 将带有变量的 logInfo 迁移到结构化日志记录框架”
  • [SPARK-47585] [SC-164306][SQL] SQL 核心:将带变量的 logInfo 迁移到结构化日志记录框架
  • [SPARK-48466] [SC-169042][SQL] 在 AQE 中为 EmptyRelation 创建专用节点
  • [SPARK-47579] [SC-165297][CORE][PART1] 将带变量的 logInfo 迁移到结构化日志记录框架
  • [SPARK-48410] [SC-168320][SQL] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 InitCap 表达式
  • [SPARK-48318] [SC-167709][SQL] 为所有排序规则(复杂类型)启用哈希联接支持
  • [SPARK-48435] [SC-168128][SQL] UNICODE 排序规则不应支持二进制相等性
  • [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] 支持将列用作 pyspark/scala 中多个函数的参数
  • [SPARK-48591] [SC-169081][PYTHON] 添加帮助程序函数以简化 Column.py
  • [SPARK-48574] [SC-169043][SQL] 修复了对带排序规则的 StructTypes 的支持
  • [SPARK-48305] [SC-166390][SQL] 为 CurrentLike 表达式添加排序规则支持
  • [SPARK-48342] [SC-168941][SQL] 引入 SQL 脚本分析程序
  • [SPARK-48649] [SC-169024][SQL] 添加“ignoreInvalidPartitionPaths”和“spark.sql.files.ignoreInvalidPartitionPaths”配置以允许忽略无效的分区路径
  • [SPARK-48000] [SC-167194][SQL] 为所有排序规则 (StringType) 启用哈希联接支持
  • [SPARK-48459] [SC-168947][CONNECT][PYTHON] 在 Spark Connect 中实现 DataFrameQueryContext
  • [SPARK-48602] [SC-168692][SQL] 使用 spark.sql.binaryOutputStyle 使 csv 生成器支持不同的输出样式
  • [SPARK-48283] [SC-168129][SQL] 修改 UTF8_BINARY_LCASE 的字符串比较
  • [SPARK-48610] [SC-168830][SQL] 重构:使用辅助 idMap 代替 OP_ID_TAG
  • [SPARK-48634] [SC-169021][PYTHON][CONNECT] 避免在 ExecutePlanResponseReattachableIterator 处以静态方式初始化线程池
  • [SPARK-48648] [SC-168932][PYTHON][CONNECT] 使 SparkConnectClient.tags 正确地成为 threadlocal
  • [SPARK-47911] [SC-164658][SQL] 引入通用 BinaryFormatter 以使二进制输出保持一致
  • [SPARK-48642] [SC-168889][CORE] 溢出时终止任务导致错误的 SparkOutOfMemoryError
  • [SPARK-48572] [SC-168844][SQL] 修复了 DateSub、DateAdd、WindowTime、TimeWindow 和 SessionWindow 表达式
  • [SPARK-48600] [SC-168841][SQL] 修复了 FrameLessOffsetWindowFunction 表达式隐式转换
  • [SPARK-48644] [SC-168933][SQL] 执行长度检查并在 Hex.hex 中引发 COLLECTION_SIZE_LIMIT_EXCEEDED 错误
  • [SPARK-48587] [SC-168824][VARIANT] 访问子变体时避免存储放大
  • [SPARK-48647] [SC-168936][PYTHON][CONNECT] 优化 df.collectYearMonthIntervalType 的错误消息
  • [SPARK-48307] [SC-167802][SQL] InlineCTE 应保留原始 WithCTE 节点中未内联的关系
  • [SPARK-48596] [SC-168581][SQL] 改进计算 long 数据类型的十六进制字符串时的性能
  • [SPARK-48621] [SC-168726][SQL] 修复了优化器中针对已排序字符串的 Like 简化问题
  • [SPARK-47148] [SC-164179][SQL] 避免在取消时具体化 AQE ExchangeQueryStageExec
  • [SPARK-48584] [SC-168579][SQL] unescapePathName 的性能改进
  • [SPARK-48281] [SC-167260][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑(StringInStr、SubstringIndex)
  • [SPARK-48577] [SC-168826][SQL] 无效的 UTF-8 字节序列替换
  • [SPARK-48595] [SC-168580][CORE] 清理与 commons-compress 相关的已弃用 API 使用
  • [SPARK-48030] [SC-164303][SQL] SPJ:缓存 InternalRowComparableWrapper 的 rowOrdering 和 structType
  • [SPARK-48004] [SC-164005][SQL] 为 v1 写入添加 WriteFilesExecBase 特征
  • [SPARK-48551] [SC-168438][SQL] escapePathName 的性能改进
  • [SPARK-48565] [SC-168437][UI] 修复了 UI 中的线程转储显示
  • [SPARK-48364] [SC-166782][SQL] 添加 AbstractMapType 类型转换并修复 RaiseError 参数映射以使用已排序的字符串
  • [SPARK-48421] [SC-168689][SQL] SPJ:添加文档
  • [SPARK-48604] [SC-168698][SQL] 替换已弃用的 new ArrowType.Decimal(precision, scale) 方法调用
  • [SPARK-46947] [SC-157561][CORE] 延迟内存管理器初始化,直到加载驱动程序插件
  • [SPARK-48411] [SC-168576][SS][PYTHON] 为 DropDuplicateWithinWatermark 添加 E2E 测试
  • [SPARK-48543] [SC-168697][SS] 使用显式错误类跟踪状态行验证失败
  • [SPARK-48221] [SC-167143][SQL] 更改 UTF8_BINARY_LCASE 排序规则的字符串搜索逻辑(Contains、StartsWith、EndsWith、StringLocate)
  • [SPARK-47415] [SC-168441][SQL] 为 Levenshtein 表达式添加排序规则支持
  • [SPARK-48593] [SC-168719][PYTHON][CONNECT] 修复了 lambda 函数的字符串表示形式
  • [SPARK-48622] [SC-168710][SQL] 解析列名时获取一次 SQLConf
  • [SPARK-48594] [SC-168685][PYTHON][CONNECT] 在 ColumnAlias 中将 parent 字段重命名为 child
  • [SPARK-48403] [SC-168319][SQL] 修复了 UTF8_BINARY_LCASE 和 ICU 排序规则的 Lower 和 Upper 表达式
  • [SPARK-48162] [SC-166062][SQL] 为 MISC 表达式添加排序规则支持
  • [SPARK-48518] [SC-167718][CORE] 使 LZF 压缩能够并行运行
  • [SPARK-48474] [SC-167447][CORE] 修复了 SparkSubmitArgumentsSparkSubmit 中日志的类名
  • [SPARK-48012] [SC-168267][SQL] SPJ:支持单侧 Shuffle 的 Transfrom 表达式
  • [SPARK-48552] [SC-168212][SQL] 多行 CSV 架构推理也应引发 FAILED_READ_FILE
  • [SPARK-48560] [SC-168268][SS][PYTHON] 使 StreamingQueryListener.spark 可设置
  • [SPARK-48569] [SC-168321][SS][CONNECT] 处理 query.name 中的边缘情况
  • [SPARK-48544] [SC-168323][SQL] 降低空 TreeNode BitSet 的内存压力
  • [SPARK-47260] [SC-167323][SQL] 为错误类 _LEGACY_ERROR_TEMP_3250 分配名称
  • [SPARK-48564] [SC-168327][PYTHON][CONNECT] 在集操作中传播已缓存的架构
  • [SPARK-48155] [SC-165910][SQL] 联接的 AQEPropagateEmptyRelation 应检查剩余子项是否仅为 BroadcastQueryStageExec
  • [SPARK-48506] [SC-167720][CORE] 压缩编解码器短名称不区分大小写,事件日志记录除外
  • [SPARK-48447] [SC-167607][SS] 在调用构造函数之前检查状态存储提供程序类
  • [SPARK-47977] [SC-167650] DateTimeUtils.timestampDiff 和 DateTimeUtils.timestampAdd 不应引发 INTERNAL_ERROR 异常
  • [SPARK-48513] [Backport][15.x][SC-168085][SS] 添加错误类以实现状态架构兼容性和次要重构
  • [SPARK-48413] [SC-167669][SQL] 带排序规则的 ALTER COLUMN
  • [SPARK-48561] [SC-168250][PS][CONNECT] 针对不受支持的绘图函数引发 PandasNotImplementedError
  • [SPARK-48465] [SC-167531][SQL] 避免无操作空关系传播
  • [SPARK-48553] [SC-168166][PYTHON][CONNECT] 缓存更多属性
  • [SPARK-48540] [SC-168069][CORE] 避免将设置加载到 stdout 的 ivy 输出
  • [SPARK-48535] [SC-168057][SS] 更新配置文档,以指示在启用“跳过流间联接的 null”配置时可能出现数据丢失/损坏问题
  • [SPARK-48536] [SC-168059][PYTHON][CONNECT] 在 applyInPandas 和 applyInArrow 中缓存用户指定的架构
  • [SPARK-47873] [SC-163473][SQL] 使用常规字符串类型将已排序的字符串写入 Hive 元存储
  • [SPARK-48461] [SC-167442][SQL] 将 AssertNotNull 表达式中的 NullPointerExceptions 替换为错误类
  • [SPARK-47833] [SC-163191][SQL][CORE] 为 checkAndGlobPathIfNecessary AnalysisException 提供调用方堆栈跟踪
  • [SPARK-47898] [SC-163146][SQL] 端口 HIVE-12270:向 HS2 委托令牌添加 DBTokenStore 支持
  • [SPARK-47578] [SC-167497][R] 将带变量的 RPackageUtils 迁移到结构化日志记录框架
  • [SPARK-47875] [SC-162935][CORE] 移除 spark.deploy.recoverySerializer
  • [SPARK-47552] [SC-160880][CORE] 将 spark.hadoop.fs.s3a.connection.establish.timeout 设置为 30 秒(如果此项缺失)
  • [SPARK-47972] [SC-167692][SQL] 限制排序规则的 CAST 表达式
  • [SPARK-48430] [SC-167489][SQL] 修复了当映射包含已排序字符串时出现的映射值提取问题
  • [SPARK-47318] [SC-162712][CORE][3.5] 将 HKDF 轮次添加到 AuthEngine 密钥派生,以遵循标准 KEX 做法
  • [SPARK-48503] [BEHAVE-29][ES-1135236][SQL] 修复了当错误地允许在非等效列上使用 group-by 时出现的无效标量子查询问题
  • [SPARK-48508] [SC-167695][CONNECT][PYTHON] 在 DataFrame.{to, mapInPandas, mapInArrow} 中缓存用户指定的架构
  • [SPARK-23015] [SC-167188][WINDOWS] 修复了 Windows 中在同一秒内启动多个 Spark 实例会导致失败的 bug
  • [SPARK-45891] [SC-167608] 还原“描述变体的分片方案”
  • [SPARK-48391] [SC-167554][CORE] 在 TaskMetrics 类的 fromAccumulatorInfos 方法中使用 addAll 而不是 add 函数
  • [SPARK-48496] [SC-167600][CORE] 在 JavaUtils.timeStringAs 和 JavaUtils.byteStringAs 中使用静态正则表达式模式实例
  • [SPARK-48476] [SC-167488][SQL] 修复了 null delmiter csv 的 NPE 错误消息
  • [SPARK-48489] [SC-167598][SQL] 从文本数据源读取非法架构时引发更好的、面向用户的错误
  • [SPARK-48471] [SC-167324][CORE] 改进历史记录服务器的文档和使用指南
  • [SPARK-45891] [SC-167597] 描述变体的分片方案
  • [SPARK-47333] [SC-159043][SQL] 使用 checkInputDataTypes 检查函数 to_xml 的参数类型
  • [SPARK-47387] [SC-159310][SQL] 移除一些未使用的错误类
  • [SPARK-48265] [ES-1131440][SQL] 推断窗口组限制批次应进行经常性折叠
  • [SPARK-47716] [SC-167444][SQL] 避免 SQLQueryTestSuite 语义排序测试用例中的视图名称冲突
  • [SPARK-48159] [SC-167141][SQL] 扩展对日期/时间表达式上的已排序字符串的支持
  • [SPARK-48462] [SC-167271][SQL][Tests] 在测试中使用 withSQLConf:重构 HiveQuerySuite 和 HiveTableScanSuite
  • [SPARK-48392] [SC-167195][CORE] 提供 --properties-file 时也加载 spark-defaults.conf
  • [SPARK-48468] [SC-167417] 在 catalyst 中添加 LogicalQueryStage 接口
  • [SPARK-47578] [SC-164988][CORE] Spark PR #46309 的手动向后移植:将带变量的 logWarning 迁移到结构化日志记录框架
  • [SPARK-48415] [SC-167321] 还原“[PYTHON] 重构 TypeName 以支持参数化数据类型”
  • [SPARK-46544] [SC-151361][SQL] 支持使用表统计信息的 v2 DESCRIBE TABLE EXTENDED
  • [SPARK-48325] [SC-166963][CORE] 始终在 ExecutorRunner.killProcess 中指定消息
  • [SPARK-46841] [SC-167139][SQL] 为 ICU 区域设置和排序规则说明符添加排序规则支持
  • [SPARK-47221] [SC-157870][SQL] 在从 CsvParser 到 AbstractParser 的范围内使用签名
  • [SPARK-47246] [SC-158138][SQL] 将 InternalRow.fromSeq 替换为 new GenericInternalRow 以保存集合转换
  • [SPARK-47597] [SC-163932][STREAMING] Spark PR #46192 的手动向后移植:流式处理:将带变量的 logInfo 迁移到结构化日志记录框架
  • [SPARK-48415] [SC-167130][PYTHON] 重构 TypeName 以支持参数化数据类型
  • [SPARK-48434] [SC-167132][PYTHON][CONNECT] 让 printSchema 使用已缓存的架构
  • [SPARK-48432] [ES-1097114][SQL] 避免在 UnivocityParser 中对整数取消装箱
  • [SPARK-47463] [SC-162840][SQL] 使用 V2Predicate 包装返回类型为布尔值的表达式
  • [SPARK-47781] [SC-162293][SQL] 处理 JDBC 数据源的负比例小数
  • [SPARK-48394] [SC-166966][CORE] 在取消注册 mapoutput 时清理 mapIdToMapIndex
  • [SPARK-47072] [SC-156933][SQL] 修复了错误消息中支持的间隔格式
  • [SPARK-47001] [SC-162487][SQL] 优化器中的下推验证
  • [SPARK-48335] [SC-166387][PYTHON][CONNECT] 使 _parse_datatype_string 与 Spark Connect 兼容
  • [SPARK-48329] [SC-166518][SQL] 默认启用 spark.sql.sources.v2.bucketing.pushPartValues.enabled
  • [SPARK-48412] [SC-166898][PYTHON] 重构数据类型 json 分析
  • [SPARK-48215] [SC-166781][SQL] 扩展对 date_format 表达式上已排序字符串的支持
  • [SPARK-45009] [SC-166873][SQL][FOLLOW UP] 添加错误类并测试联接条件中引用两个联接子项的谓词子查询的去相关
  • [SPARK-47960] [SC-165295][SS][15.x] 允许在 transformWithState 运算符之后链接其他有状态运算符。
  • [SPARK-48340] [SC-166468][PYTHON] 支持 TimestampNTZ 推断架构缺少 prefer_timestamp_ntz
  • [SPARK-48157] [SC-165902][SQL] 为 CSV 表达式添加排序规则支持
  • [SPARK-48158] [SC-165652][SQL] 为 XML 表达式添加排序规则支持
  • [SPARK-48160] [SC-166064][SQL] 为 XPATH 表达式添加排序规则支持
  • [SPARK-48229] [SC-165901][SQL] 为 inputFile 表达式添加排序规则支持
  • [SPARK-48367] [SC-166487][CONNECT] 修复了 scalafmt 的 lint-scala,用于检测文件是否正确格式化
  • [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] 重构数据帧错误上下文的结构
  • [SPARK-48370] [SC-166787][CONNECT] Scala Spark Connect 客户端中的检查点和 localCheckpoint
  • [SPARK-48247] [SC-166028][PYTHON] 在推断 MapType 架构时使用字典中的所有值
  • [SPARK-48395] [SC-166794][PYTHON] 修复了参数化类型的 StructType.treeString
  • [SPARK-48393] [SC-166784][PYTHON] 将一组常量移至 pyspark.util
  • [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] 实现 StructType.treeString
  • [SPARK-48258] [SC-166467][PYTHON][CONNECT] Spark Connect 中的检查点和 localCheckpoint

请参阅 Databricks Runtime 15.4 LTS 维护更新

系统环境

  • 操作系统:Ubuntu 22.04.4 LTS
  • Java:Zulu 8.78.0.19-CA-linux64
  • Scala:2.12.18
  • Python:3.11.0
  • R:4.3.2
  • Delta Lake:3.2.0

已安装的 Python 库

版本 版本 版本
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.2
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
单击 8.0.4 cloudpickle 2.2.1 comm 0.1.2
contourpy 1.0.5 密码系统 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbu-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0.4 执行 0.8.3 facets-overview 1.1.1
filelock 3.13.4 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.43 google-api-core 2.18.0 google-auth 2.31.0
google-cloud-core 2.4.1 google-cloud-storage 2.17.0 google-crc32c 1.5.0
google-resumable-media 2.7.1 googleapis-common-protos 1.63.2 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jedi 0.18.1 jeepney 0.7.1
jmespath 0.10.0 joblib 1.2.0 jupyter_client 7.4.9
jupyter_core 5.3.0 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.4
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 打包 23.2
pandas 1.5.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
plotly 5.9.0 prompt-toolkit 3.0.36 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 pyarrow 14.0.1
pyasn1 0.4.8 pyasn1-modules 0.2.8 pyccolo 0.0.52
pycparser 2.21 pydantic 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.38
pyparsing 3.0.9 python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1
pytz 2022.7 PyYAML 6.0 pyzmq 23.2.0
请求 2.31.0 rsa 4.9 s3transfer 0.10.2
scikit-learn 1.3.0 scipy 1.11.1 seaborn 0.12.2
SecretStorage 3.3.1 setuptools 68.0.0 6 1.16.0
smmap 5.0.1 sqlparse 0.5.0 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.0 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tornado 6.3.2
traitlets 5.7.1 typing_extensions 4.10.0 tzdata 2022.1
ujson 5.4.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.24.2 wadllib 1.3.6 wcwidth 0.2.5
wheel 0.38.4 zipp 3.11.0

已安装的 R 库

R 库安装自 Posit Package Manager CRAN 快照

版本 版本 版本
箭头 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 启动 1.3-28
brew 1.0-10 brio 1.1.4 broom 1.0.5
bslib 0.6.1 cachem 1.0.8 callr 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 CLI 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 compiler 4.3.2
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.2 凭据 2.0.1 curl 5.2.0
data.table 1.15.0 datasets 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 评估 0.23
fansi 1.0.6 farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-85 forge 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 gargle 1.5.2
generics 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
later 1.3.2 lattice 0.21-8 lava 1.7.3
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
Matrix 1.5-4.1 memoise 2.0.1 方法 4.3.2
mgcv 1.8-42 mime 0.12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.49 工具 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.610
com.amazonaws aws-java-sdk-cloudformation 1.12.610
com.amazonaws aws-java-sdk-cloudfront 1.12.610
com.amazonaws aws-java-sdk-cloudhsm 1.12.610
com.amazonaws aws-java-sdk-cloudsearch 1.12.610
com.amazonaws aws-java-sdk-cloudtrail 1.12.610
com.amazonaws aws-java-sdk-cloudwatch 1.12.610
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.610
com.amazonaws aws-java-sdk-codedeploy 1.12.610
com.amazonaws aws-java-sdk-cognitoidentity 1.12.610
com.amazonaws aws-java-sdk-cognitosync 1.12.610
com.amazonaws aws-java-sdk-config 1.12.610
com.amazonaws aws-java-sdk-core 1.12.610
com.amazonaws aws-java-sdk-datapipeline 1.12.610
com.amazonaws aws-java-sdk-directconnect 1.12.610
com.amazonaws aws-java-sdk-directory 1.12.610
com.amazonaws aws-java-sdk-dynamodb 1.12.610
com.amazonaws aws-java-sdk-ec2 1.12.610
com.amazonaws aws-java-sdk-ecs 1.12.610
com.amazonaws aws-java-sdk-efs 1.12.610
com.amazonaws aws-java-sdk-elasticache 1.12.610
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.610
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.610
com.amazonaws aws-java-sdk-elastictranscoder 1.12.610
com.amazonaws aws-java-sdk-emr 1.12.610
com.amazonaws aws-java-sdk-glacier 1.12.610
com.amazonaws aws-java-sdk-glue 1.12.610
com.amazonaws aws-java-sdk-iam 1.12.610
com.amazonaws aws-java-sdk-importexport 1.12.610
com.amazonaws aws-java-sdk-kinesis 1.12.610
com.amazonaws aws-java-sdk-kms 1.12.610
com.amazonaws aws-java-sdk-lambda 1.12.610
com.amazonaws aws-java-sdk-logs 1.12.610
com.amazonaws aws-java-sdk-machinelearning 1.12.610
com.amazonaws aws-java-sdk-opsworks 1.12.610
com.amazonaws aws-java-sdk-rds 1.12.610
com.amazonaws aws-java-sdk-redshift 1.12.610
com.amazonaws aws-java-sdk-route53 1.12.610
com.amazonaws aws-java-sdk-s3 1.12.610
com.amazonaws aws-java-sdk-ses 1.12.610
com.amazonaws aws-java-sdk-simpledb 1.12.610
com.amazonaws aws-java-sdk-simpleworkflow 1.12.610
com.amazonaws aws-java-sdk-sns 1.12.610
com.amazonaws aws-java-sdk-sqs 1.12.610
com.amazonaws aws-java-sdk-ssm 1.12.610
com.amazonaws aws-java-sdk-storagegateway 1.12.610
com.amazonaws aws-java-sdk-sts 1.12.610
com.amazonaws aws-java-sdk-support 1.12.610
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.610
com.amazonaws jmespath-java 1.12.610
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.1.1
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 8.11.4
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1