通过

Databricks Runtime 16.1

  • 项目

以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 16.1 的相关信息。

Databricks 于 2024 年 12 月发布了此版本。

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明，请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用，可能不会更新。

行为更改

VARIANT 数据类型不能再用于需要比较的操作

在 DBR 16.1 及更高版本中，将不能在包含 VARIANT 数据类型的查询中使用以下子句或运算符：

  • DISTINCT
  • INTERSECT
  • EXCEPT
  • UNION
  • DISTRIBUTE BY

此外，还将不能使用这些 DataFrame 函数：

  • df.dropDuplicates()
  • df.repartition()

这些操作会执行比较，使用 VARIANT 数据类型的比较会生成未定义的结果，在 Databricks 中不受支持。 如果在 Azure Databricks 工作负载或表中使用 VARIANT 类型，Databricks 建议进行以下更改：

  • 更新查询或表达式以将 VARIANT 值显式强制转换为非 VARIANT 数据类型。
  • 如果字段必须与上述任何操作一起使用，请从 VARIANT 数据类型中提取这些字段，并使用非 VARIANT 数据类型存储它们。

有关详细信息，请参阅查询变体数据。

新增功能和改进

Apache Spark 中的排序规则支持为公共预览版

现在可以将语言感知的、不区分大小写和不区分访问的排序规则分配给 STRING 列和表达式。 这些排序规则用于字符串比较、排序、分组操作以及许多字符串函数。 请参阅排序规则。

Delta Lake 中的排序规则支持为公共预览版

现在可以在创建或更改 Delta 表时为列定义排序规则。 请参阅 Delta Lake 的排序规则支持。

清空的 LITE 模式为公共预览版

现在，你可以使用 VACUUM table_name LITE 执行轻量级清空操作，以利用 Delta 事务日志中的元数据。 请参阅完整模式与精简模式和 VACUUM。

支持参数化 USE CATALOG with IDENTIFIER 子句

在 Databricks Runtime 16.1 及更高版本中，USE CATALOG 语句支持 IDENTIFIER 子句。 借助此支持，你可以根据字符串变量或参数标记来参数化当前目录。

对表和视图的 COMMENT ON COLUMN 支持

在 Databricks Runtime 16.1 及更高版本中，COMMENT ON 语句支持更改视图和表列的评论。

新的 SQL 函数

在 Databricks Runtime 16.1 及更高版本中，提供了以下新的内置 SQL 函数：

更多函数的命名参数调用

在 Databricks Runtime 16.1 及更高版本中，以下函数支持命名参数调用：

Hive 元存储支持 REPAIR TABLE 命令的 SYNC METADATA 参数

在 Databricks Runtime 16.1 及更高版本中，可以将 SYNC METADATA 参数与 REPAIR TABLE 命令一起使用来更新 Hive 元存储托管表的元数据。 请参阅 REPAIR TABLE。

已压缩 Apache Arrow 批处理的增强数据完整性

在 Databricks Runtime 16.1 及更高版本中，为了进一步防止数据损坏，每个 LZ4 压缩的 Arrow 批处理现在都包含 LZ4 内容和块校验和。 请参阅 LZ4 帧格式说明。

在 Unity Catalog 共享访问模式计算上添加了对 Scala 方法的支持

在 Databricks Runtime 16.1 及更高版本中，在 Unity Catalog 共享访问模式计算中，添加了对以下 Scala 方法的支持：Dataset.flatMapGroups()、Dataset.mapGroups() 和 DataStreamWriter.foreach()。

对 Scala 的 StreamingQueryListener 支持

现在，你可以在配置了共享访问模式的计算中在 Scala 中使用 StreamingQueryListener。

内置 Oracle JDBC 驱动程序

在 Databricks Runtime 16.1 及更高版本中，Oracle JDBC 驱动程序内置于 Azure Databricks 中。 如果通过 DriverManager 使用客户上传的 JDBC 驱动程序 JAR，则必须重写脚本以显式使用自定义 JAR。 否则，将使用内置驱动程序。

使用路径访问的 Delta 表的更多具体错误

对于使用路径访问的 Delta 表，新的错误消息体验现已推出。 所有异常现在都将转发给用户。 现在，当基础文件无法读取为 Delta 表时，异常 DELTA_MISSING_DELTA_TABLE 将保留。

其他更改

已重命名 cloudFiles 结构化流式处理源的错误代码

此版本包括重命名以下错误代码的更改：

  • _LEGACY_ERROR_TEMP_DBR_0143 已重命名为 CF_INCORRECT_STREAM_USAGE。
  • _LEGACY_ERROR_TEMP_DBR_0260 已重命名为 CF_INCORRECT_BATCH_USAGE 。

Bug 修复

嵌套类型现已适当接受 NULL 约束

此版本修复了影响某些 Delta 生成的嵌套类型的列的漏洞，例如 STRUCT。 这些列有时会根据嵌套字段的 NULL 或 NOT NULL 约束错误地拒绝表达式。 此问题已修复。

库升级

  • 升级了 Python 库：
    • ipyflow-core 从 0.0.198 升级到 0.0.201
    • pyccolo 从 0.0.52 升级到 0.0.65
  • 升级了 R 库：
  • 升级了 Java 库：
    • io.delta.delta-sharing-client_2.12 从 1.2.0 升级到 1.2.2
    • org.lz4.lz4-java 从 1.8.0 升级到 1.8.0-databricks-1
    • software.amazon.cryptools.AmazonCorrettoCryptoProvider 从 1.6.2-linux-x86_64 升级到 2.4.1-linux-x86_64

Apache Spark

Databricks Runtime 16.1 包括 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 16.0 中包含的所有 Spark 修复和改进，另外还包括对 Spark 进行的下列 bug 修复和改进：

  • [SPARK-50482] [SC-182879][CORE] 已弃用的无操作 spark.shuffle.spill 配置
  • [SPARK-50032] [SC-182706][SQL][16.x] 允许使用完全限定的排序规则名称
  • [SPARK-50467] [SC-182823][PYTHON] 为内置函数添加 __all__
  • [SPARK-48898] [SC-182828][SQL] 修复变体分片 bug
  • [SPARK-50441] [SC-182668][SQL] 修复引用 CTE 时参数化标识符不起作用的错误
  • [SPARK-50446] [SC-182639][PYTHON] 经 Arrow 优化的 Python UDF 中的并发级别
  • [SPARK-50430] [SC-182536][CORE] 使用标准 Properties.clone 而不是手动克隆
  • [SPARK-50471] [SC-182790][PYTHON] 支持基于 Arrow 的 Python 数据源写入器
  • [SPARK-50466] [SC-182791][PYTHON] 优化字符串函数的文档字符串 - 第 1 部分
  • [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] 将新计时器 API 和初始状态 API 与计时器集成
  • [SPARK-50437] [SC-182586][SS] 减少在 TransformWithStateExec 中创建反序列化程序的开销
  • [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] 添加对链接的支持...
  • [SPARK-49294] [SC-182730][UI] 为随机写入时间复选框添加宽度属性。
  • [SPARK-50426] [SC-182540][PYTHON] 使用内置数据源或 Java 数据源时避免静态的 Python 数据源查找
  • [SPARK-48356] [SC-182603][SQL] 对 FOR 语句的支持
  • [SPARK-50333] [SC-182136][SQL] 对 CsvToStructs 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-50285] [SC-182575] 提交到 StagedTable 实例的指标
  • [SPARK-50081] [SC-182344][SQL] 对 XPath* 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-50440] [SC-182592] [SQL] 重构 AttributeSeq.resolveCandidates
  • [SPARK-50067] [SC-179648][SQL] 对 SchemaOfCsv 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-49873] [SC-178577][SQL] 修复错误测试时合并后失败的问题
  • [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离状态缓存
  • [SPARK-49873] [SC-178577][SQL] 为 _LEGACY_ERROR_TEMP_1325 分配适当的错误类
  • [SPARK-50381] [SC-182197][CORE] 支持 spark.master.rest.maxThreads
  • [SPARK-46725] [SC-182448][SQL] 添加 DAYNAME 函数
  • [SPARK-50270] [SC-181179][SS][PYTHON] 添加了 TransformWithStateInPandas 的自定义状态指标
  • [SPARK-50118] 还原“[SC-181259][CONNET] 在任务运行时重置隔离状态缓存”
  • [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] 为表值函数添加 DataFrame API
  • [SPARK-49470] [SC-175736][UI] 将 dataTables 样式表和 javascript 从 1.13.5 更新为 1.13.11
  • [SPARK-50235] 还原“[SC-180786][SQL] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源”
  • [SPARK-50324] [SC-182278][PYTHON][CONNECT] 使 createDataFrame 最多触发一次 Config RPC
  • [SPARK-50387] [SC-182441][SS] 更新计时器到期和相关测试的条件
  • [SPARK-50287] [SC-182400][SQL] 在 FileTable 中创建 WriteBuilder 时合并表和关系的选项
  • [SPARK-50066] [SC-181484][SQL] 对 SchemaOfXml 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-50092] [SC-181568][SQL] 修复多维数组的 PostgreSQL 连接器行为
  • [SPARK-50318] [SC-181641][SQL] 添加 IntervalUtils.makeYearMonthInterval 以删除解释和 codegen 之间的重复代码
  • [SPARK-50312] [SC-181646][SQL] kerberos 为 true 时 SparkThriftServer createServer 参数传递错误
  • [SPARK-50246] [SC-181468][SQL] 为 _LEGACY_ERROR_TEMP_2167 分配适当的错误条件：INVALID_JSON_RECORD_TYPE
  • [SPARK-50214] [SC-180692][SQL] 来源 json/xml 不应更改给定架构中的排序规则
  • [SPARK-50250] [SC-181466][SQL] 为 _LEGACY_ERROR_TEMP_2075 分配适当的错误条件：UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
  • [SPARK-50248] [SC-181467][SQL] 为 _LEGACY_ERROR_TEMP_2058 分配适当的错误条件：INVALID_PARTITION_VALUE
  • [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离状态缓存
  • [SPARK-50235] [SC-180786][SQL] 在处理 ColumnarToRowExec 中的所有行后清理 ColumnVector 资源
  • [SPARK-50156] [SC-180781][SQL] 将 _LEGACY_ERROR_TEMP_2113 集成到 UNRECOGNIZED_STATISTIC 中
  • [SPARK-50069] [SC-180163][SQL] 将 _LEGACY_ERROR_TEMP_0028 集成到 UNSUPPORTED_FROM_TO_EXPRESSION 中
  • [SPARK-50154] [SC-180663][SQL] 为 _LEGACY_ERROR_TEMP_0043 分配适当的错误条件：INVALID_RESET_COMMAND_FORMAT
  • [SPARK-49967] [SC-179534][SQL] 对 StructsToJson(to_json) 的 Codegen 支持
  • [SPARK-50055] [SC-180978][SQL] 添加 TryMakeInterval 替代项
  • [SPARK-50397] [SC-182367][CORE] 从 Master/Worker 中移除已弃用的 --ip 和 -i 参数
  • [SPARK-50238] [SC-181434][PYTHON] 在 PySpark UDF/UDTF/UDAF 和 Python UC UDF 中添加变体支持
  • [SPARK-50079] [SC-179830][SQL] 为 _LEGACY_ERROR_TEMP_2013 分配适当的错误条件：NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
  • [SPARK-50182] [SC-180346][EXAMPLE] 添加 submit-sql.sh REST API 示例
  • [SPARK-49966] [SC-179501][SQL] 使用 Invoke 以实施 JsonToStructs(from_json)
  • [SPARK-50302] [SC-182518][SS] 确保辅助索引大小等于具有 TTL 的 TransformWithState 有状态变量的主索引大小
  • [SPARK-50301] [SC-182241][SS][16.x] 使 TransformWithState 指标反应其直观含义
  • [SPARK-50175] [SC-182140][SQL] 更改排序规则优先计算
  • [SPARK-50148] [SC-180292][SQL] 使 StaticInvoke 与声明引发异常的方法兼容
  • [SPARK-50280] [SC-181214][PYTHON] 在 compute_hist 中重构结果排序和排空箱填充
  • [SPARK-50190] [SC-182458][PYTHON] 从直方图中移除 Numpy 的直接依赖项
  • [SPARK-50382] [SC-182368][CONNECT] 添加有关使用/扩展 Spark Connect 进行应用程序开发的一般信息的文档
  • [SPARK-50296] [SC-181464][PYTHON][CONNECT] 避免在 Python Connect 客户端的线程池中使用 classproperty
  • [SPARK-49566] [SC-182239][SQL] 为 EXTEND 运算符添加 SQL 管道语法
  • [SPARK-50036] [SC-179533][CORE][PYTHON] 在 REPL shell 的上下文中包含 SPARK_LOG_SCHEMA
  • [SPARK-49859] [SC-178259][CONNECT] 将 multiprocessing.ThreadPool 替换为 ThreadPoolExecutor
  • [SPARK-50141] [SC-182378][PYTHON] 使 lpad 和 rpad 接受列类型参数
  • [SPARK-50379] [SC-182142][SQL] 修复 WindowExecBase 中的 DayTimeIntevalType 处理
  • [SPARK-49954] [SC-179110][SQL] 对 SchemaOfJson 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-50398] [SC-182341][CORE] 将 ExitCode 0 用于 Spark 脚本中的 --help 使用情况
  • [SPARK-50377] [SC-182238][SQL] 允许评估可折叠的 RuntimeReplaceable
  • [SPARK-50241] [SC-181444][SQL] 将 NullIntolerant Mixin 替换为 Expression.nullIntolerant 方法
  • [SPARK-50084] [SC-179672][SQL] 为 _LEGACY_ERROR_TEMP_3168 分配适当的错误条件：MISSING_TIMEOUT_CONFIGURATION
  • [SPARK-50078] [SC-179649][SQL] 为 _LEGACY_ERROR_TEMP_0038 分配适当的错误条件：DUPLICATED_CTE_NAMES
  • [SPARK-50057] [SC-179573][SQL] 为 _LEGACY_ERROR_TEMP_1049 分配适当的错误条件：INVALID_ATTRIBUTE_NAME_SYNTAX
  • [SPARK-50070] [SC-179579][SQL] 将 _LEGACY_ERROR_TEMP_0039 集成到 UNSUPPORTED_SQL_STATEMENT 中
  • [SPARK-50378] [SC-182235][SS] 在 transformWithState 中添加用于跟踪过程初始状态的自定义指标
  • [SPARK-50029] [SC-179531][SQL] 使 StaticInvoke 与返回 Any 的方法兼容
  • [SPARK-49990] [SC-179497][SQL] 提高 randStr 的性能
  • [SPARK-50048] [SC-179528][SQL] 为 _LEGACY_ERROR_TEMP_2114 分配适当的错误条件：UNRECOGNIZED_STATISTIC
  • [SPARK-50053] [SC-179532][SQL] 将 _LEGACY_ERROR_TEMP_2104 转换为 INTERNAL_ERROR
  • [SPARK-49665] [SC-180054][SQL] 剪裁字符串函数的排序规则支持
  • [SPARK-48549] [SC-176472][SQL][PYTHON] 改进 SQL 函数 sentences
  • [SPARK-50022] [SC-179503][CORE][UI] 修复 MasterPage 以在禁用 UI 时隐藏应用 UI 链接
  • [SPARK-50087] [SC-182152] 在 CASE WHEN 中针对 MsSqlServer 和未来的连接器可靠处理布尔表达式
  • [SPARK-49991] [SC-179481][SQL] 使 HadoopMapReduceCommitProtocol 遵循“mapreduce.output.basename”以生成文件名
  • [SPARK-50038] [SC-179521][SQL] 为 _LEGACY_ERROR_TEMP_0008 分配适当的错误条件：MERGE_WITHOUT_WHEN
  • [SPARK-50236] [SC-181671][SQL] 为 _LEGACY_ERROR_TEMP_1156 分配适当的错误条件：COLUMN_NOT_DEFINED_IN_TABLE
  • [SPARK-50021] [SC-179500][CORE][UI] 修复 ApplicationPage 以在禁用 UI 时隐藏应用 UI 链接
  • [SPARK-49911] [SC-179111][SQL] 修复支持二进制相等性的语义
  • [SPARK-50025] [SC-179496][SQL] 将 _LEGACY_ERROR_TEMP_1253 集成到 EXPECT_VIEW_NOT_TABLE 中
  • [SPARK-49829] [SC-179480][SS] 修复在流联接中将输入添加到状态存储的优化中的 bug
  • [SPARK-50004] [SC-179499][SQL] 将 _LEGACY_ERROR_TEMP_3327 集成到 FIELD_NOT_FOUND 中
  • [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator 应遵循 ConstantFolding 中的协定
  • [SPARK-50340] [SC-181859][SQL] 在 INSERT 输入查询中展开 UDT
  • [SPARK-50237] [SC-181660][SQL] 为 _LEGACY_ERROR_TEMP_2138-9 分配适当的错误条件：CIRCULAR_CLASS_REFERENCE
  • [SPARK-50258] [SC-181993][SQL] 修复 AQE 优化后的输出列顺序更改问题
  • [SPARK-49773][SC-178369][SQL] 使用错误的时区取消从 make_timestamp() 捕获的 Java 异常
  • [SPARK-49977] [SC-179265][SQL] 使用基于堆栈的迭代计算避免为深层表达式树创建许多 Scala 列表对象
  • [SPARK-50153] [SC-181591][SQL] 添加 name 到 RuleExecutor 以使打印 QueryExecutionMetrics 的日志更清晰
  • [SPARK-50320][SC-181668][CORE] 通过移除 experimental 警告来使 --remote 成为正式选项
  • [SPARK-49909] [SC-179492]还原“[SQL] 修复一些表达式的友好名称”
  • [SPARK-50330] [SC-180720][SC-181764][SQL] 向排序和窗口节点添加提示
  • [SPARK-50364] [SC-182003][SQL] 在 Row.jsonValue 中实施 LocalDateTime 类型的序列化
  • [SPARK-50016] [SC-182139][SQL] 为 _LEGACY_ERROR_TEMP_2067 分配适当的错误条件：UNSUPPORTED_PARTITION_TRANSFORM
  • [SPARK-49899] [SC-181175][PYTHON][SS] 支持 TransformWithStateInPandas 的 deleteIfExists
  • [SPARK-49757] [SC-177824][SQL] 支持 SET CATALOG 语句中的 IDENTIFIER 表达式
  • [SPARK-50315] [SC-181886][SQL] 支持 V1Fallback 写入的自定义指标
  • [SPARK-42838] [SC-181509][SQL] 分配一个名称到错误类 _LEGACY_ERROR_TEMP_2000
  • [SPARK-50353] [SC-181985][SQL] 重构 ResolveSQLOnFile
  • [SPARK-48344] [SC-181967][SQL] 准备 SQL 脚本以添加执行框架
  • [SPARK-49345] [SC-174786][CONNECT] 确保使用当前正在运行的 Spark 会话
  • [SPARK-49925] [SC-178882][SQL] 使用排序规则字符串添加顺序测试
  • [SPARK-50167] [SC-181199][PYTHON][CONNECT] 改进 PySpark 绘图错误消息和导入
  • [SPARK-49368] [SC-174999][CONNECT] 避免直接访问 protobuf 精简类
  • [SPARK-50056] [SC-181378][SQL] 对 ParseUrl 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-49601] [SC-180770][SS][PYTHON] 支持 TransformWithStateInPandas 的初始状态处理
  • [SPARK-49908] [SC-178768][SQL] 为 _LEGACY_ERROR_TEMP_0044 分配适当的错误条件
  • [SPARK-50144] [SC-180307][SS] 解决使用 DSv1 流式处理源进行指标计算的限制
  • [SPARK-49874] [SC-178303][SQL] 移除剪裁和 ltrim 排序规则说明符。
  • [SPARK-49513] [SC-180339][SS] 在 transformWithStateInPandas API 中添加对计时器的支持
  • [SPARK-49119] [SC-175607][SQL] 修复 v1 与 v2 之间的语法 show columns 不一致
  • [SPARK-49206] [SC-173704][CORE][UI] 将 Environment Variables 表添加到主 EnvironmentPage
  • [SPARK-49934] [SC-179581][SQL] 添加隐式强制转换以通过文本访问排序规则映射
  • [SPARK-50049] [SC-181659][SQL] 在写入 v2 表时支持自定义驱动程序指标
  • [SPARK-50171] [SC-180295][PYTHON] 使 numpy 成为 KDE 绘图的可选项
  • [SPARK-49962] [SC-179320][SQL] 简化 AbstractStringTypes 类层次结构
  • [SPARK-50226] [SC-181483][SQL] 更正 MakeDTInterval 和 MakeYMInterval 以捕获 Java 异常
  • [SPARK-48775] [SC-170801][SQL][STS] 将 SQLContext 替换为 STS 中的 SparkSession
  • [SPARK-49015] [SC-175688][CORE] Connect 服务器应遵循 spark.log.structuredLogging.enabled
  • [SPARK-50327] [SC-181667][SQL][16.x] 将函数解析因式分解为在单传递分析器中重复使用
  • [SPARK-49995] [SC-180762][SQL] 向更多 TVF 添加命名参数支持
  • [SPARK-49268] [SC-174903][CORE] 在 SHS 历史记录提供程序中以日志形式记录 IO 异常
  • [SPARK-48123] [SC-164989][Core] 提供用于查询结构化日志的常数表架构
  • [SPARK-49217] [SC-174904][CORE] 在 UnsafeShuffleWriter 中支持单独的缓冲区大小配置
  • [SPARK-50325] [SC-181664][SQL][16.x] 将别名解析因数分解以在单传递分析器中重复使用
  • [SPARK-50322] [SC-181665][SQL] 修复子查询中的参数化标识符
  • [SPARK-48400] [SC-175283][CORE] 提升 PrometheusServlet 为 DeveloperApi
  • [SPARK-50118] 还原“[SC-181259][CONNET] 在任务运行时重置隔离状态缓存”
  • [SPARK-50306] [SC-181564][PYTHON][CONNECT] 在 Spark Connect 中支持 Python 3.13
  • [SPARK-50152] [SC-181264][SS] 使用状态数据源读取器支持 handleInitialState
  • [SPARK-50260] [SC-181271][CONNECT] 重构和优化 Spark C...
  • [SPARK-47591] [SC-163090][SQL] Hive-thriftserver：使用变量将 logInfo 迁移到结构化日志记录框架中
  • [SPARK-49312] [SC-174672][PYTHON] 改进 assertSchemaEqual 的错误消息
  • [SPARK-49439] [SC-175236][SQL] 修复 FromProtobuf 和 ToProtobuf 表达式的友好名称
  • [SPARK-50092] [ES-1258521] 修复多维数组的 PostgreSQL 连接器行为
  • [SPARK-49913] [SC-181565][SQL] 在嵌套标记范围中添加对唯一标签名称的检查
  • [SPARK-49563] [SC-181465][SQL] 为 WINDOW 运算符添加 SQL 管道语法
  • [SPARK-49661] [SC-179021][SQL] 实施剪裁排序规则哈希和比较。
  • [SPARK-38912] [SC-181543][PYTHON] 移除与 classmethod 和属性相关的评论
  • [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB 强化] 改进 RocksDB SST 文件映射管理，并修复了使用现有快照重新加载同一版本的问题
  • [SPARK-49002] 还原“[SC-172846][SQL] 始终如一地处理 WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY 中的无效位置”
  • [SPARK-50290] [SC-181453][SQL] 添加标志以禁用 DataFrameQueryContext 创建
  • [SPARK-49668] [SC-178268][SQL] 实施剪裁排序规则的排序规则键支持
  • [SPARK-50262] [SC-181193][SQL] 更改排序规则期间禁止规范复杂类型
  • [SPARK-48898] [SC-181435][SQL] 添加变体分片函数
  • [SPARK-48273] [SC-181381] 还原“[SQL] 修复了 PlanWithUnresolvedIdentifier 的后期重写”
  • [SPARK-50222] [SC-180706][CORE] 支持 spark.submit.appName
  • [SPARK-50208] [SC-180662][CORE] 支持 spark.master.useDriverIdAsAppName.enabled
  • [SPARK-50224] [SC-180689][SQL] IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 的替换应 NullIntolerant
  • [SPARK-50247] [SC-180962][CORE] 将 BLOCK_MANAGER_REREGISTRATION_FAILED 定义为 ExecutorExitCode
  • [SPARK-50282] [SC-181221][ML] 简化 TargetEncoderModel.transform
  • [SPARK-50112] [SC-180763][SQL] 允许 TransformWithState 运算符使用 Avro 编码
  • [SPARK-50267][SC-181180][ML] 使用 DataFrame API 改进 TargetEncoder.fit
  • [SPARK-37178] [SC-180939][ML] 将目标编码添加到 ml.feature
  • [SPARK-50118] [SC-181259][CONNET] 在任务运行时重置隔离状态缓存
  • [SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] 使具有 np.int8 的 lit(ndarray) 遵循 numpy 数据类型
  • [SPARK-50256] [SC-181048][SQL] 添加轻型验证以检查逻辑计划是否在每个优化器规则后变得无法解析
  • [SPARK-50196] [SC-180932][CONNECT] 修复 Python 错误上下文以使用正确的上下文
  • [SPARK-50274] [SC-181181][CORE] 在 DirectByteBufferOutputStream 中防止关闭后使用
  • [SPARK-49999] [SC-180063][PYTHON][CONNECT] 支持 box、kde 和 hist 绘图中的可选“列”参数
  • [SPARK-50273] [SC-181178][SS] 改进 RocksDB 锁获取/释放案例的日志记录
  • [SPARK-50033] [SC-180720][SC-180659][SQL] 向 logical.Aggregate() 节点添加提示
  • [SPARK-50163] [16.x][SC-180201][SC-180664][SS] 修复由于完成侦听器导致的 RocksDB 额外的 acquireLock 释放
  • [SPARK-50253] [SC-180969][SS] 流联接如果未得到支持，则不应提取检查点 ID。
  • [SPARK-50255] [SC-180964][PYTHON] 避免在 compute_hist 中进行不必要的强制转换
  • [SPARK-50228] [SC-180780][SQL] 将 RewriteCollationJoin 规则移动到 FinishAnalysis
  • [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] 调整“精度”以成为箱形图的 kwargs 的一部分
  • [SPARK-49637] [SC-180160][SQL] 已更改 INVALID_FRACTION_OF_SECOND 的错误消息
  • [SPARK-49530] [SC-180658][PYTHON] 从数据帧中获取活动会话
  • [SPARK-50195] [SC-180654][CORE] 修复 StandaloneRestServer 以将 spark.app.name 正确传播到 SparkSubmit
  • [SPARK-50229] [SC-180773] 通过减少在逻辑规划期间创建的 AttributeReference 对象的生存期，减少驱动程序上宽架构的内存使用量
  • [SPARK-50231] [SC-180815][PYTHON] 使函数 instr 接受列 substring
  • [SPARK-49854] [SC-179812][16.x][SQL] 在会话克隆期间克隆项目管理程序
  • [SPARK-50028] [SC-180699][CONNECT] 将 Spark Connect 服务器侦听器中的全局锁替换为细粒度锁
  • [SPARK-49615] [SC-180672][ML] 使所有 ML 功能转换器的数据集架构验证都符合“spark.sql.caseSensitive”配置。
  • [SPARK-50219] [SC-180694][SQL] 重构 ApplyCharTypePadding，以便可以在单传递解析程序中使用帮助程序方法
  • [SPARK-50077] [SC-179827][SQL] 为 LogicalRelation 引入新的模式对象，以帮助避免默认的完整参数模式
  • [SPARK-50128] [Backport][16x][SC-180677][SS] 在 Scala 中使用隐式编码器添加有状态处理器的、句柄 API
  • [SPARK-50061] [SC-179961][SQL] 为排序规则列启用分析表
  • [SPARK-49993] [SC-180084][SQL] 改进 Sum 和 Average 的错误消息
  • [SPARK-49638] [SC-179665][SQL] 移除 INVALID_URL 中的 ANSI 配置建议
  • [SPARK-50204] [SC-180660][SQL] 因式分解 HiveTableRelation 读取路径解析
  • [SPARK-50193] [SC-180651][SS] 修复验证时间模式的异常处理
  • [SPARK-50179] [SC-180342][CORE] 使 spark.app.name 属性在 REST API 中为可选项
  • [SPARK-50068] [SC-180300][SQL] 重构 TypeCoercion 和 AnsiTypeCoercion 以分隔单节点转换
  • [SPARK-49411] [SC-179483][SS] 在驱动程序和有状态运算符之间传达状态存储检查点 ID
  • [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET 应保留数据排序
  • [SPARK-49506] [SC-180165][SQL] 优化可折叠数组的 ArrayBinarySearch
  • [SPARK-50097] [SC-179908][SQL] 为 _LEGACY_ERROR_TEMP_1248 分配适当的错误条件：ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
  • [SPARK-50071] [SC-180159][SQL][PYTHON] 添加 try_make_timestamp(_ltz and _ntz) 和相关的测试
  • [SPARK-50024] 还原“[SC-179515][PYTHON][CONNECT] 切换为在客户端中使用记录器而不是警告模块”
  • [SPARK-50054] [SC-180228][PYTHON][CONNECT] 支持直方图绘图
  • [SPARK-50015] [SC-179964][SQL] 为 _LEGACY_ERROR_TEMP_1125 分配适当的错误条件：MISSING_DATABASE_FOR_V1_SESSION_CATALOG
  • [SPARK-50155] [SC-180240][3.5] 将 scala 和 java 文件移动到其默认文件夹
  • [SPARK-49980] [SC-180353][CORE][SQL] 修复因已取消的任务中断而导致的潜在文件流泄漏问题
  • [SPARK-49010] [SC-172304][SQL][XML] 为 XML 架构推理区分大小写添加单元测试
  • [SPARK-50024] [SC-179515][PYTHON][CONNECT] 切换到在客户端中使用记录器而不是警告模块
  • [SPARK-49562] [SC-180211][SQL] 为聚合添加 SQL 管道语法
  • [SPARK-49663] [SC-180239][SQL] 在排序规则表达式中启用 RTRIM 建议
  • [SPARK-48965] [SC-175926][SQL] 在 Dataset#toJSON 中使用正确的架构
  • [SPARK-48493] [SC-175893][PYTHON] 使用直接 Arrow 批处理支持增强 Python 数据源读取器以提高性能
  • [SPARK-49734] [SC-180226][PYTHON] 为函数 shuffle 添加 seed 参数
  • [SPARK-50174] [16.x][SC-180253][SQL] 因式分解 UnresolvedCatalogRelation 解析
  • [SPARK-49989] [SC-179512][PYTHON][CONNECT] 支持 kde/密度绘图
  • [SPARK-49805] [SC-180218][SQL][ML] 从 function.scala 中移除私人 [xxx] 函数
  • [SPARK-49808] [SC-179490][SQL] 修复因延迟 vals 导致的子查询执行死锁
  • [SPARK-49929] [SC-180144][PYTHON][CONNECT] 支持箱形图
  • [SPARK-50008] [SC-179290][PS][CONNECT] 避免在 attach_distributed_sequence_column 中执行不必要的操作
  • [SPARK-49767] [SC-180161][PS][CONNECT] 重构内部函数调用
  • [SPARK-49683] [SC-178341][SQL] 块剪裁排序规则
  • [SPARK-49939] [SC-178941][SQL] 对 json_object_keys 的 Codegen 支持（通过调用和 RuntimeReplaceable）
  • [SPARK-50031] [SC-179582][SQL] 添加 TryParseUrl 表达式
  • [SPARK-49766] [SC-178933][SQL] 对 json_array_length 的 Codegen 支持（通过 Invoke 和 RuntimeReplaceable）
  • [SPARK-50046] [SC-180026][SS] 使用 EventTimeWatermark 节点的稳定顺序计算水印
  • [SPARK-49540] [SC-180145][PS] 统一 distributed_sequence_id 的使用
  • [SPARK-50060] [SC-179965][SQL] 已禁用 TypeCoercion 和 AnsiTypeCoercion 中的不同排序规则类型之间的转换
  • [SPARK-49004] [SC-173244][CONNECT] 对列 API 内部函数使用单独的注册表
  • [SPARK-49811] [SC-177888][SQL] 重命名 StringTypeAnyCollation
  • [SPARK-49202] [SC-180059][PS] 将 ArrayBinarySearch 应用于直方图
  • [SPARK-49203] [SC-175734][SQL] 添加 java.util.Arrays.binarySearch 的表达式
  • [SPARK-50034] [SC-179816][CORE] 修复错误在 SparkUncaughtExceptionHandler 中错误报告为未捕获的异常的问题
  • [SPARK-50093] [SC-179836][SQL] 使用 ICU 的排序规则应具有已用 ICU 库的版本
  • [SPARK-49985] [SC-179644][SQL] 移除对变体中的间隔类型的支持
  • [SPARK-49103] [SC-173066][CORE] 支持 spark.master.rest.filters
  • [SPARK-50090] [SC-179819] 重构 ResolveBinaryArithmetic 以分隔单节点转换
  • [SPARK-49902] [SC-179650][SQL] 在 RegExpReplace 中捕获基础运行时错误
  • [SPARK-49126] [SC-173342][CORE] 将 spark.history.ui.maxApplications 配置定义移动到 History.scala
  • [SPARK-50094] [SC-179820][PYTHON][CONNECT] 在没有行号的编辑器上使用内存探查器时，更好的错误消息
  • [SPARK-50062] [SC-179835][SQL] 通过 InSet 支持排序规则
  • [SPARK-50035] [Backport][16x][SC-179530][SS] 添加对有状态处理器的显式 handleExpiredTimer 函数部分的支持
  • [SPARK-49982] [SC-179814][SQL] 修复 InMemoryRelation 中的负缓存
  • [SPARK-49082] [SC-173350][SQL] 扩大 AvroDeserializer 的类型提升
  • [SPARK-50088] [SC-179680][SQL] 重构 UnresolvedStarBase.expand
  • [SPARK-49802] [SC-179482][SS] 为有状态处理器中使用的映射和列表类型添加对读取更改源的支持
  • [SPARK-49846] [SC-179506][SS] 添加 numUpdatedStateRows 和 numRemovedStateRows 指标以用于 transformWithState 运算符
  • [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] 使 lit 接受 str 和 bool 类型 numpy ndarray
  • [SPARK-49821] [SC-179527][SS][PYTHON] 实施对 TransformWithStateInPandas 的 MapState 和 TTL 支持
  • [SPARK-49558] [SC-179485][SQL] 为 LIMIT/OFFSET 和 ORDER/SORT/CLUSTER/DISTRIBUTE BY 添加 SQL 管道语法
  • [SPARK-48144] [SC-165725][LC-4080][SQL] 修复 canPlanAsBroadcastHashJoin 以遵循随机加入提示
  • [SPARK-50051] [SC-179571][PYTHON][CONNECT] 使 lit 与空 numpy ndarray 结合使用
  • [SPARK-50018] [SC-179488][SQL] 使 AbstractStringType 可序列化
  • [SPARK-50016] [SC-179491][SQL] 改进显式排序规则不匹配错误
  • [SPARK-50010] [SC-179487][SQL] 展开隐式排序规则不匹配错误
  • [SPARK-48749] [SC-170116][SQL] 使用 RuntimeReplaceable 简化 UnaryPositive 并消除其 Catalyst 规则
  • [SPARK-49857] [SC-178576][SQL] 将 storageLevel 添加到数据集 localCheckpoint API
  • [SPARK-50058] [SC-179538][SQL] 因式分解计划规范化函数，以便稍后在单传递分析器测试中使用它们
  • [SPARK-50052] [SC-179535][PYTHON][16.X] 使 NumpyArrayConverter 支持空 str ndarray
  • [SPARK-47261] [SC-173665][SQL] 为错误 _LEGACY_ERROR_TEMP_1172、_LEGACY_ERROR_TEMP_1173 和 _LEGACY_ERROR_TEMP_1174 分配更好的名称
  • [SPARK-49147] [SC-173471][CORE] 使用 DeveloperApi 接口标记 KryoRegistrator
  • [SPARK-48949] [SC-173070][SQL] SPJ：运行时分区筛选
  • [SPARK-50044] [SC-179523][PYTHON] 优化多个数学函数的文档字符串
  • [SPARK-48757] [SC-170113][CORE] 使 IndexShuffleBlockResolver 具有显式构造函数
  • [SPARK-50037] [SQL] 重构 AttributeSeq.resolve(…)
  • [SPARK-48782] [SC-177056][SQL] 在目录中添加对执行过程的支持
  • [SPARK-49057] [SC-173081][SQL] 提交查询阶段时不要阻止 AQE 循环
  • [SPARK-48824] [SC-176772][BEHAVE-167][SQL] 添加标识列 SQL 语法
  • [SPARK-48773] [SC-170773] 配置生成器框架的文档配置“spark.default.parallelism”
  • [SPARK-48735] [SC-169810][SQL] BIN 函数的性能改进
  • [SPARK-48900] [SC-172433] 为作业/阶段取消的所有内部调用添加 reason 字段
  • [SPARK-48488] [SC-167605][CORE] 修复 SparkSubmit 中的方法 log[info|warning|error]
  • [SPARK-48708] [SC-169809][CORE] 从 KryoSerializer 中移除三个不必要的类型注册
  • [SPARK-49958] [SC-179312][PYTHON] 用于字符串验证函数的 Python API
  • [SPARK-49979] [SC-179264][SQL] 修复在失败计划上进行两次收集时 AQE 挂起的问题
  • [SPARK-48729] [SC-169795][SQL] 添加 UserDefinedFunction 接口以表示 SQL 函数
  • [SPARK-49997] [SC-179279][SQL] 将 _LEGACY_ERROR_TEMP_2165 集成到 MALFORMED_RECORD_IN_PARSING 中
  • [SPARK-49259] [SC-179271][SS] kafka 读取期间基于大小的分区创建
  • [SPARK-48129] [SC-165006][PYTHON] 在 PySpark 中提供常数表架构，以查询结构化日志
  • [SPARK-49951] [SC-179259][SQL] 为 LEGACY_ERROR_TEMP(1099|3085) 分配适当的错误条件
  • [SPARK-49971] [SC-179278][SQL] 为 _LEGACY_ERROR_TEMP_1097 分配适当的错误条件
  • [SPARK-49998] [SC-179277][SQL] 将 _LEGACY_ERROR_TEMP_1252 集成到 EXPECT_TABLE_NOT_VIEW 中
  • [SPARK-49876] [SC-179262][CONNECT] 从 Spark Connect 服务中去除全局锁
  • [SPARK-49957] [SC-179202][SQL] 用于字符串验证函数的 Scala API
  • [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener 不应受 spark.interrupt() 影响
  • [SPARK-49643] [SC-179239][SQL] 将 _LEGACY_ERROR_TEMP_2042 合并到 ARITHMETIC_OVERFLOW 中
  • [SPARK-49959] [SC-179109][SQL] 修复 ColumnarArray.copy() 以从正确的偏移中读取 null
  • [SPARK-49956] 还原“[SC-179070] 已使用 collect_set 表达式禁用排序规则”
  • [SPARK-49987] [SC-179180][SQL] 修复 seedExpression 在 randstr 中不可折叠时的错误提示
  • [SPARK-49948] [SC-179158][PS][CONNECT] 在 Spark 箱形图上将参数“精准率”添加到 pandas
  • [SPARK-49970] [SC-179167][SQL] 为 _LEGACY_ERROR_TEMP_2069 分配适当的错误条件
  • [SPARK-49916] [SC-179108][SQL] 对于 ColumnType 与某些行中的数据类型的类型不匹配引发适当的异常
  • [SPARK-49956] [SC-179070] 已使用 collect_set 表达式禁用排序规则
  • [SPARK-49974] [16.x][SC-179071][SQL] 将 resolveRelations(…) 移出 Analyzer.scala
  • [SPARK-47259] [SC-176437][SQL] 将名称分配给间隔错误的错误条件
  • [SPARK-47430] [SC-173679][SQL] 按映射类型对组进行返工，以修复绑定引用异常
  • [SPARK-49067] [SC-172616][SQL] 将 utf-8 文本移动到 UrlCodec 类的内部方法中
  • [SPARK-49955] [SC-178989][SQL] 当分析 JSON 字符串 RDD 时，null 值并不意味着损坏的文件
  • [SPARK-49393] [SC-175212][SQL] 默认在弃用的目录插件 API 中失败
  • [SPARK-49952] [SC-178985][SQL] 为 _LEGACY_ERROR_TEMP_1142 分配适当的错误条件
  • [SPARK-49405] [SC-175224][SQL] 限制 JsonOptions 中的字符集
  • [SPARK-49892] [SC-178975][SQL] 为 _LEGACY_ERROR_TEMP_1136 分配适当的错误类
  • [SPARK-49904] [SC-178973][SQL] 为 _LEGACY_ERROR_TEMP_2140 分配适当的错误条件
  • [SPARK-47257] [SC-174244][SQL] 将名称分配给错误类 _LEGACY_ERROR_TEMP_105[3-4] 和 _LEGACY_ERROR_TEMP_1331
  • [SPARK-49915] [SC-178869][SQL] 处理 ReorderAssociativeOperator 中的 0 和 1
  • [SPARK-49891] [SC-178970][SQL] 为 _LEGACY_ERROR_TEMP_2271 分配适当的错误条件
  • [SPARK-49829] [ES-1254513] 修改在流联接中将输入添加到状态存储的优化（正确性修复）
  • [SPARK-49918] [SC-178748][CORE] 适当时使用对 SparkContext 中的配置的只读访问权限
  • [SPARK-49666] [SC-177891][SQL] 为剪裁排序规则功能添加功能标志
  • [SPARK-48885] [SC-171050][SQL] 使 RuntimeReplaceable 的一些子类替代延迟 val 的替代项
  • [SPARK-49932] [SC-178931][CORE] 使用 tryWithResource 发布 JsonUtils#toJsonString 资源避免内存泄漏
  • [SPARK-49949] [SC-178978][PS] 避免 attach_sequence_column 中不必要的分析任务
  • [SPARK-49924] [SC-178935][SQL] 在 ArrayCompact 替换后保留 containsNull
  • [SPARK-49905] [ES-1265435] 将专用 ShuffleOrigin 用于有状态运算符，以防止从 AQE 修改随机
  • [SPARK-49615] [SC-178877] Bug 修复：使 ML 列架构验证符合 spark 配置 spark.sql.caseSensitive。
  • [SPARK-49121] [SC-174787][SQL] 为 SQL 函数支持 from_protobuf 和 to_protobuf
  • [SPARK-47496] [SC-160529][SQL] Java SPI 支持动态 JDBC 方言注册
  • [SPARK-49359] [SC-174895][SQL] 允许 StagedTableCatalog 实现回退到非原子写入
  • [SPARK-49895] [SC-178543][SQL][ES-1270338] 在 SELECT 子句中遇到尾随逗号时改进错误
  • [SPARK-47945] [SC-163457][SQL] MsSQLServer：记录从 Microsoft SQL Server 映射 Spark SQL 数据类型并添加测试
  • [SPARK-46037] [SC-175495][SQL] 不带 codegen 的随机哈希联接生成的正确性修复
  • [SPARK-47813] [SC-162615][SQL] 将 getArrayDimension 替换为 updateExtraColumnMeta
  • [SPARK-49542] [SC-178765][SQL] 分区转换异常评估错误
  • [SPARK-47172] [SC-169537][CORE] 增加对 RPC 加密的 AES-GCM 的支持
  • [SPARK-47666] [SC-161476][SQL] 在将 mysql 位数组读取为 LongType 时修复 NPE
  • [SPARK-48947] [SC-174239][SQL] 使用小写字符集名称减少 Charset.forName 中缓存缺失
  • [SPARK-49909] [SC-178552][SQL] 修复一些表达式的友好名称
  • [SPARK-47647] [SC-161377][SQL] 使 MySQL 数据源能够读取位 (n>1) 作为 BinaryType（如 Postgres）
  • [SPARK-46622] [SC-153004][CORE] 替代 o.a.s.network.shuffledb.StoreVersion 的 toString 方法
  • [SPARK-48961] [SC-171910][PYTHON] 使 PySparkException 的参数命名与 JVM 一致
  • [SPARK-49889] [SC-178474][PYTHON] 为函数 trim/ltrim/rtrim 添加参数 trim
  • [SPARK-49863] [ES-1184693][SC-178546][SQL] 修复 NormalizeFloatingNumbers 以保留嵌套结构的可为 Null 性
  • [SPARK-47537] [SC-160747][SQL] 修复 MySQL 连接器/J 上的错误数据类型映射
  • [SPARK-47628] [SC-161257][SQL] 修复 Postgres 位数组问题“无法强制转换为布尔值”
  • [SPARK-49843] [SC-178084][ES-1268164][SQL] 修复 char/varchar 列的更改评论
  • [SPARK-49549] [SC-178764][SQL] 将名称分配到错误条件 _LEGACY_ERROR_TEMP_3055、3146
  • [SPARK-49782] [SC-178756][SQL] ResolveDataFrameDropColumns 规则使用子输出解析 UnresolvedAttribute
  • [SPARK-49791] [SC-177730][SQL] 使 DelegatingCatalogExtension 更具可扩展性
  • [SPARK-49559] [SC-178551][SQL] 为设置操作添加 SQL 管道语法
  • [SPARK-49906] [SC-178536][SQL] 引入并将 CONFLICTING_DIRECTORY_STRUCTURES 错误用于 PartitioningUtils
  • [SPARK-49877] [SC-178392][SQL] 更改 classifyException 函数签名：添加 isRuntime 参数
  • [SPARK-47501] [SC-160532][SQL] 为 JdbcDialect 添加 convertDateToDate，如现有的 convertTimestampToTimestamp
  • [SPARK-49044] [SC-175746][SQL] ValidateExternalType 应在错误中返回子错误
  • [SPARK-47462] [SC-160460][SQL] 将其他无符号数值类型的映射与 MySQLDialect 中的 TINYINT 对齐
  • [SPARK-47435] [SC-160129][SQL] 修复 SPARK-45561 导致的 MySQL UNSIGNED TINYINT 溢出问题
  • [SPARK-49398] [SC-176377][SQL] 改进 CACHE TABLE 和 CREATE VIEW 查询中的参数错误
  • [SPARK-47263] [SC-177012][SQL] 将名称分配给旧条件 _LEGACY_ERROR_TEMP_13[44-46]
  • [SPARK-49605] [SC-176605][SQL] 在 ascendingOrder 为 SortArray 中的 DataTypeMismatch 时修复提示
  • [SPARK-49806] [SC-178304][SQL][CONNECT] 移除 Scala 和 Connect 客户端中的 blank space 后的冗余 show
  • [SPARK-47258] [SC-175032][SQL] 将名称分配给错误类 _LEGACY_ERROR_TEMP_127[0-5]
  • [SPARK-49564] [SC-178461][SQL] 为 JOIN 运算符添加 SQL 管道语法
  • [SPARK-49836] [SC-178339][SQL][SS] 修复将窗口提供给 window/session_window fn 时可能破坏的查询
  • [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] 处理 Postgres 和 MySQL 的 SQL 时间戳映射
  • [SPARK-49776] [SC-177818][PYTHON][CONNECT] 支持饼状图
  • [SPARK-49824] [SC-178251][SS][CONNECT] 改进 SparkConnectStreamingQueryCache 中的日志记录
  • [SPARK-49894] [SC-178460][PYTHON][CONNECT] 优化列字段操作的字符串表示
  • [SPARK-49764] [SC-177491][PYTHON][CONNECT] 支持面积图
  • [SPARK-49694] [SC-177376][PYTHON][CONNECT] 支持散点图
  • [SPARK-49744] [SC-178363][SS][PYTHON] 实施对 TransformWithStateInPandas 中的 ListState 的 TTL 支持
  • [SPARK-49879] [SC-178334][CORE] 将 TransportCipherUtil 移动到单独的文件以消除 Java 编译警告
  • [SPARK-49866] [SC-178353][SQL] 改进有关使用分区列描述表的错误消息
  • [SPARK-49867] [SC-178302][ES-1260570][SQL] 在调用 GetColumnByOrdinal 时，当索引超出边界时改进错误消息
  • [SPARK-49607] [SC-177373][PYTHON] 更新基于样本的绘图的采样方法
  • [SPARK-49626] [SC-177276][PYTHON][CONNECT] 支持水平条形图和垂直条形图
  • [SPARK-49531] [SC-177770][PYTHON][CONNECT] 使用 plotly 后端支持线条图
  • [SPARK-49444] [SC-177692][ES-1203248][SQL] 修改了 UnivocityParser 以引发由 ArrayIndexOutOfBounds 导致的运行时异常，包含更多面向用户的消息
  • [SPARK-49870] [SC-178262][PYTHON] 在 Spark 经典版中添加 Python 3.13 支持
  • [SPARK-49560] [SC-178121][SQL] 为 TABLESAMPLE 运算符添加 SQL 管道语法
  • [SPARK-49864] [SC-178305][SQL] 改进 BINARY_ARITHMETIC_OVERFLOW 的消息
  • [SPARK-48780] [SC-170274][SQL] 使 NamedParametersSupport 中的错误通用，以处理函数和程序
  • [SPARK-49358] [SC-178158][SQL] 具有排序规则字符串的映射类型的模式表达式
  • [SPARK-47341] [SC-178157][SQL] 修复 RuntimeConfig#get 的不准确文档
  • [SPARK-48357] [SC-178153][SQL] 支持 LOOP 语句
  • [SPARK-49845] [SC-178059][CORE] 使 appArgs 和 environmentVariables 在 REST API 中为可选项
  • [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable 应指示它是否用于写入
  • [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] 为 Scala 添加了客户端侦听器支持
  • [SPARK-48700] [SC-177978][SQL] 复杂类型的模式表达式（所有排序规则）
  • [SPARK-48196] [SC-177899][SQL] 将 QueryExecution 延迟 val 计划转换为 LazyTry
  • [SPARK-49749] [16.x][SC-177877][CORE] 更改日志级别以在 BlockManagerInfo 中进行调试
  • [SPARK-49561] [SC-177897][SQL] 为 PIVOT 和 UNPIVOT 运算符添加 SQL 管道语法
  • [SPARK-49823] [SC-177885][SS] 在 rocksdb 封闭路径中关闭时，避免刷新
  • [SPARK-49820] [SC-177855] [PYTHON] 将 raise IOError 更改为 raise OSError
  • [SPARK-49653] [SC-177266][SQL] 相关标量子查询的单个联接
  • [SPARK-49552] [SC-177477][PYTHON] 为新的“randstr”和“uniform”SQL 函数添加 DataFrame API 支持
  • [SPARK-48303] [16.x][SC-166251][CORE] 重新组织 LogKeys
  • [SPARK-49656] [16x][Backport][SS] 添加对具有值状态集合类型和读取更改源选项的状态变量的支持
  • [SPARK-48112] [SC-165129][CONNECT] 向插件公开 SparkConnectPlanner 中的会话
  • [SPARK-48126] [16.x][SC-165309][Core] 使 spark.log.structuredLogging.enabled 有效
  • [SPARK-49505] [SC-176873][SQL] 创建新的 SQL 函数“randstr”和“uniform”以在范围内生成随机字符串或数字
  • [SPARK-49463] [SC-177474] 为 TransformWithStateInPandas 支持 ListState
  • [SPARK-48131] [SC-165007][Core] 统一 MDC 键 mdc.taskName 和 task_name
  • [SPARK-49557] [SC-177227][SQL] 为 WHERE 运算符添加 SQL 管道语法
  • [SPARK-49323] [16.x][SC-174689][CONNECT] 将 MockObserver 从 Spark Connect 服务器的测试文件夹移动到服务器的主文件夹
  • [SPARK-49745] [SC-177501][SS] 通过状态数据源读取器添加对读取已注册计时器的更改
  • [SPARK-49772] [16.x][SC-177478][SC-177214][SS] 移除 ColumnFamilyOptions 并将配置直接添加到 RocksDB 中的 dbOptions

Databricks ODBC/JDBC 驱动程序支持

Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。

系统环境

  • 操作系统：Ubuntu 24.04.1 LTS
  • Java：Zulu17.54+21-CA
  • Scala：2.12.18
  • Python：3.12.3
  • R：4.4.0
  • Delta Lake: 3.2.1

已安装的 Python 库

库 版本 库 版本 库 版本
annotated-types 0.7.0 asttokens 2.0.5 astunparse 1.6.3
autocommand 2.2.2 azure-core 1.31.0 azure-storage-blob 12.23.0
azure-storage-file-datalake 12.17.0 backports.tarfile 1.2.0 black 24.4.2
blinker 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certifi 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 单击 8.1.7
cloudpickle 2.2.1 comm 0.2.1 contourpy 1.2.0
密码系统 42.0.5 cycler 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbu-python 1.3.2 debugpy 1.6.7
decorator 5.1.1 已放弃 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 entrypoints 0.4 执行 0.8.3
facets-overview 1.1.1 filelock 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 google-cloud-storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
inflect 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantic-conventions 0.48b0
打包 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 patsy 0.5.6 pexpect 4.8.0
pillow 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 pluggy 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
请求 2.32.2 rope 1.12.0 rsa 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 6 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stack-data 0.2.0 statsmodels 0.14.2 tenacity 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 types-requests 2.31.0.0 types-setuptools 68.0.0.0
types-six 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 unattended-upgrades 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wheel 0.43.0 wrapt 1.14.1
yapf 0.33.0 zipp 3.17.0

已安装的 R 库

R 库安装自 2024-08-04 的 Posit Package Manager CRAN 快照。

库 版本 库 版本 库 版本
箭头 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 base 4.4.0 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-8 blob 1.2.4 启动 1.3-30
brew 1.0-10 brio 1.1.5 broom 1.0.6
bslib 0.8.0 cachem 1.1.0 callr 3.7.6
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 CLI 3.6.3 clipr 0.8.0
clock 0.7.1 cluster 2.1.6 codetools 0.2-20
colorspace 2.1-1 commonmark 1.9.1 compiler 4.4.0
config 0.3.2 conflicted 1.2.0 cpp11 0.4.7
crayon 1.5.3 凭据 2.0.1 curl 5.2.1
data.table 1.15.4 datasets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 desc 1.4.3 devtools 2.4.5
示意图 1.6.5 diffobj 0.3.5 digest 0.6.36
downlit 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellipsis 0.3.2 评估 0.24.0
fansi 1.0.6 farver 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
foreign 0.8-86 forge 0.2.0 fs 1.6.4
future 1.34.0 future.apply 1.11.2 gargle 1.5.2
generics 0.1.3 gert 2.1.0 ggplot2 3.5.1
gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.3 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.4.0 grDevices 4.4.0 grid 4.4.0
gridExtra 2.3 gsubfn 0.7 gt 0.11.0
gtable 0.3.5 hardhat 1.4.0 haven 2.5.4
highr 0.11 hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 labeling 0.4.3
later 1.3.2 lattice 0.22-5 lava 1.8.0
lifecycle 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.13 MASS 7.3-60.0.1
矩阵 1.6-5 memoise 2.0.1 方法 4.4.0
mgcv 1.9-1 mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 parallel 4.4.0
parallelly 1.38.0 pillar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 praise 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 进度 1.2.3
progressr 0.14.0 promises 1.3.0 proto 1.0.0
proxy 0.4-27 ps 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactable 0.4.4
reactR 0.6.0 readr 2.1.5 readxl 1.4.3
recipes 1.1.0 rematch 2.0.0 rematch2 2.1.2
remotes 2.5.0 reprex 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 sass 0.4.9
scales 1.3.0 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6.1 shiny 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 spatial 7.3-17 splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 stats 4.4.0
stats4 4.4.0 stringi 1.8.4 stringr 1.5.1
survival 3.6-4 swagger 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
textshaping 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 timechange 0.3.0
timeDate 4032.109 tinytex 0.52 工具 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 usethis 3.0.0
utf8 1.2.4 utils 4.4.0 uuid 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 whisker 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeallot 0.1.0 zip 2.3.1

已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrics-annotation 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-socks 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap shims 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatible 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1