Databricks Runtime 15.0
以下发行说明提供了由 Apache Spark 3.5.0 提供支持的 Databricks Runtime 15.0 的相关信息。
Databricks 于 2024 年 3 月发布了这些映像。
中断性变更
PySpark spark.sql() 函数现在对无效的参数类型会失败
在 Databricks Runtime 15.0 及更高版本中，传递给 spark.sql() 函数的命名或位置参数的 args 参数必须是字典或列表。 如果传递任何其他对象类型，将引发以下错误：PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>。
在 DBFS 根目录中存储库的功能已弃用，默认处于禁用状态
为了提高 Azure Databricks 工作区中的库的安全性，从 Databricks Runtime 15.0 开始，默认弃用和禁用在 DBFS 根目录中存储库文件的功能。 Databricks 建议将所有库（包括 Python 库、JAR 文件和 Spark 连接器）上传到工作区文件、Unity Catalog 卷或使用包存储库。 请参阅有关上传库的建议。
若要重新启用在 DBFS 根目录中存储库，请设置以下 Spark 配置参数：spark.databricks.driver.dbfsLibraryInstallationAllowed true。
默认 Python 版本从 3.10 升级到 3.11
使用 Databricks Runtime 15.0 时，默认 Python 版本为 3.11.0。 有关升级后的 Python 库的列表，请参阅库升级。
JDK 11 已删除
如之前宣布的那样，JDK 11 已从 Databricks Runtime 15.0 及更高版本中删除。 Databricks 建议在升级到 Databricks Runtime 15.0 及更高版本时升级到 JDK 17。 请参阅 Databricks SDK for Java。
Python REPL 现在正常终止
使用 Databricks Runtime 15.0，笔记本的 Python REPL 进程现在可以在退出时正常终止。 这会导致遵循任何 atexit 挂钩。 例如，在具有多个 Python 笔记本任务的工作流中，在第一个任务中注册的 atexit 挂钩在第二个 Python 笔记本任务运行之前执行。
新增功能和改进
- WHERE 子句现支持 *（星号）子句
spark.sql.json.enablePartialResults配置现在默认启用- 群集库现在支持 requirements.txt 文件
- Databricks CLI 现在可在 Web 终端中使用
- 将默认 Python 库添加到群集配置
WHERE 子句现支持 *（星号）子句
现可在 WHERE 子句中使用星号 (*) 子句以引用 SELECT 列表中的所有列。
例如 SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)。
spark.sql.json.enablePartialResults 配置现在默认启用
Spark 配置 spark.sql.json.enablePartialResults 现在默认启用，允许 JSON 分析程序正确处理复杂类型（如结构、映射和数组）的分析错误，而无需删除剩余字段。 此更改修复了使用列修剪的 JSON 数据源的一致性问题。
群集库现在支持 requirements.txt 文件
现在，可以使用存储在工作区文件或 Unity Catalog 卷中的 requirements.txt 文件安装群集库。 在单个用户和共享访问模式群集中，requirements.txt 文件可以引用其他文件。 在无隔离共享访问模式群集中，仅支持 PyPI 包。 请参阅群集库。
Databricks CLI 现在可在 Web 终端中使用
现在，可以从笔记本中的 Web 终端使用 Databricks CLI。 笔记本必须附加到单个用户或无隔离共享访问模式的群集。 有关详细信息，请参阅使用 Web 终端和 Databricks CLI。
将默认 Python 库添加到群集配置
在 Databricks Runtime 15.0 及更高版本中，可以在配置群集或定义群集策略时为群集和笔记本范围的库安装配置全局 pip index-url 和 extra-index-url 参数。 要执行此操作，请设置环境变量 DATABRICKS_PIP_INDEX_URL 和 DATABRICKS_PIP_EXTRA_INDEX_URL。
库升级
- 升级了 Python 库：
- black 从 22.6.0 到 23.3.0
- boto3 从 1.24.28 到 1.34.39
- botocore 从 1.27.96 到 1.34.39
- certifi 从 2022.12.7 到 2023.7.22
- cryptography 从 39.0.1 到 41.0.3
- databricks-sdk 从 0.1.6 升级到 0.20.0
- distlib 从 0.3.7 到 0.3.8
- googleapis-common-protos 从 1.62.0 升级到 1.63.0
- grpcio 从 1.48.2 到 1.60.0
- grpcio-status 从 1.48.1 到 1.60.0
- importlib-metadata 从 4.6.4 到 6.0.0
- ipykernel 从 6.25.0 到 6.25.1
- ipython 从 8.14.0 到 8.15.0
- ipywidgets 从 7.7.2 到 8.0.4
- jupyter_core 从 5.2.0 到 5.3.0
- jupyterlab-widgets 从 1.0.0 到 3.0.5
- matplotlib 从 3.7.0 到 3.7.2
- pandas 从 1.5.3 到 2.0.3
- pip 从 22.3.1 到 23.2.1
- platformdirs 从 2.5.2 到 3.10.0
- protobuf 从 4.24.0 到 4.24.1
- pyarrow 从 8.0.0 到 14.0.1
- Pygments 从 2.11.2 到 2.15.1
- pyodbc 从 4.0.32 到 4.0.38
- requests 从 2.28.1 到 2.31.0
- s3transfer 从 0.6.2 到 0.10.0
- scikit-learn 从 1.1.1 到 1.3.0
- scipy 从 1.10.0 到 1.11.1
- setuptools 从 65.6.3 到 68.0.0
- statsmodels 从 0.13.5 到 0.14.0
- tenacity 从 8.1.0 到 8.2.2
- tornado 从 6.1 到 6.3.2
- typing_extensions 从 4.4.0 到 4.7.1
- urllib3 从 1.26.14 到 1.26.16
- virtualenv 从 20.16.7 到 20.24.2
- widgetsnbextension 从 3.6.1 到 4.0.5
- zipp 从 1.0.0 到 3.11.0
- 升级了 R 库：
- arrow 从 12.0.1 到 14.0.0.2
- askpass 从 1.1 到 1.2.0
- base 从 4.3.1 到 4.3.2
- brew 从 1.0-8 到 1.0-10
- brio 从 1.1.3 到 1.1.4
- bslib 从 0.5.0 到 0.6.1
- cli 从 3.6.1 到 3.6.2
- commonmark 从 1.9.0 到 1.9.1
- compiler 从 4.3.1 到 4.3.2
- config 从 0.3.1 到 0.3.2
- cpp11 从 0.4.4 到 0.4.7
- credentials 从 1.3.2 到 2.0.1
- curl 从 5.0.1 到 5.2.0
- data.table 从 1.14.8 到 1.15.0
- datasets 从 4.3.1 到 4.3.2
- DBI 从 1.1.3 到 1.2.1
- dbplyr 从 2.3.3 到 2.4.0
- desc 从 1.4.2 到 1.4.3
- digest 从 0.6.33 到 0.6.34
- dplyr 从 1.1.2 到 1.1.4
- e1071 从 1.7-13 到 1.7-14
- evaluate 从 0.21 到 0.23
- fansi 从 1.0.4 到 1.0.6
- fontawesome 从 0.5.1 到 0.5.2
- fs 从 1.6.2 到 1.6.3
- future 从 1.33.0 到 1.33.1
- future.apply 从 1.11.0 到 1.11.1
- gargle 从 1.5.1 到 1.5.2
- gert 从 1.9.2 到 2.0.1
- ggplot2 从 3.4.2 到 3.4.4
- glmnet 从 4.1-7 到 4.1-8
- glue 从 1.6.2 到 1.7.0
- graphics 从 4.3.1 到 4.3.2
- grDevices 从 4.3.1 到 4.3.2
- grid 从 4.3.1 到 4.3.2
- gtable 从 0.3.3 到 0.3.4
- hardhat 从 1.3.0 到 1.3.1
- haven 从 2.5.3 到 2.5.4
- htmltools 从 0.5.5 到 0.5.7
- htmlwidgets 从 1.6.2 到 1.6.4
- httpuv 从 1.6.11 到 1.6.14
- httr 从 1.4.6 到 1.4.7
- httr2 从 0.2.3 到 1.0.0
- jsonlite 从 1.8.7 到 1.8.8
- knitr 从 1.43 到 1.45
- labeling 从 0.4.2 到 0.4.3
- later 从 1.3.1 到 1.3.2
- lava 从 1.7.2.1 到 1.7.3
- lifecycle 从 1.0.3 到 1.0.4
- listenv 从 0.9.0 到 0.9.1
- lubridate 从 1.9.2 到 1.9.3
- markdown 从 1.7 到 1.12
- methods 从 4.3.1 到 4.3.2
- openssl 从 2.0.6 到 2.1.1
- parallel 从 4.3.1 到 4.3.2
- pkgbuild 从 1.4.2 到 1.4.3
- pkgload 从 1.3.2.1 到 1.3.4
- plyr 从 1.8.8 到 1.8.9
- prettyunits 从 1.1.1 到 1.2.0
- pROC 从 1.18.4 到 1.18.5
- processx 从 3.8.2 到 3.8.3
- prodlim 从 2023.03.31 到 2023.08.28
- progress 从 1.2.2 到 1.2.3
- progressr 从 0.13.0 到 0.14.0
- promises 从 1.2.0.1 到 1.2.1
- ps 从 1.7.5 到 1.7.6
- purrr 从 1.0.1 到 1.0.2
- ragg 从 1.2.5 到 1.2.7
- Rcpp 从 1.0.11 到 1.0.12
- RcppEigen 从 0.3.3.9.3 到 0.3.3.9.4
- readr 从 2.1.4 到 2.1.5
- recipes 从 1.0.6 到 1.0.9
- rematch 从 1.0.1 到 2.0.0
- remotes 从 2.4.2 到 2.4.2.1
- reprex 从 2.0.2 到 2.1.0
- rlang 从 1.1.1 到 1.1.3
- rmarkdown 从 2.23 到 2.25
- RODBC 从 1.3-20 到 1.3-23
- roxygen2 从 7.2.3 到 7.3.1
- rprojroot 从 2.0.3 到 2.0.4
- Rserve 从 1.8-11 到 1.8-13
- RSQLite 从 2.3.1 到 2.3.5
- sass 从 0.4.6 到 0.4.8
- scales 从 1.2.1 到 1.3.0
- shiny 从 1.7.4.1 到 1.8.0
- sparklyr 从 1.8.1 到 1.8.4
- splines 从 4.3.1 到 4.3.2
- stats 从 4.3.1 到 4.3.2
- stats4 从 4.3.1 到 4.3.2
- stringi 从 1.7.12 到 1.8.3
- stringr 从 1.5.0 到 1.5.1
- systemfonts 从 1.0.4 到 1.0.5
- tcltk 从 4.3.1 到 4.3.2
- testthat 从 3.1.10 到 3.2.1
- textshaping 从 0.3.6 到 0.3.7
- tidyr 从 1.3.0 到 1.3.1
- timechange 从 0.2.0 到 0.3.0
- timeDate 从 4022.108 到 4032.109
- tinytex 从 0.45 到 0.49
- tools 从 4.3.1 到 4.3.2
- utf8 从 1.2.3 到 1.2.4
- utils 从 4.3.1 到 4.3.2
- uuid 从 1.1-0 到 1.2-0
- vctrs 从 0.6.3 到 0.6.5
- vroom 从 1.6.3 到 1.6.5
- waldo 从 0.5.1 到 0.5.2
- withr 从 2.5.0 到 3.0.0
- xfun 从 0.39 到 0.41
- xml2 从 1.3.5 到 1.3.6
- yaml 从 2.3.7 到 2.3.8
- zip 从 2.3.0 到 2.3.1
- 升级了 Java 库：
- com.fasterxml.jackson.datatype.jackson-datatype-jsr310 从 2.15.1 到 2.16.0
- com.google.flatbuffers.flatbuffers-java 从 1.12.0 到 23.5.26
- com.typesafe.config 从 1.2.1 到 1.4.3
- org.apache.ant.ant 从 1.9.16 到 1.10.11
- org.apache.ant.ant-jsch 从 1.9.16 到 1.10.11
- org.apache.ant.ant-launcher 从 1.9.16 到 1.10.11
- org.apache.arrow.arrow-format 从 12.0.1 到 15.0.0
- org.apache.arrow.arrow-memory-core 从 12.0.1 到 15.0.0
- org.apache.arrow.arrow-memory-netty 从 12.0.1 到 15.0.0
- org.apache.arrow.arrow-vector 从 12.0.1 到 15.0.0
- org.apache.avro.avro 从 1.11.2 到 1.11.3
- org.apache.avro.avro-ipc 从 1.11.2 到 1.11.3
- org.apache.avro.avro-mapred 从 1.11.2 到 1.11.3
- org.apache.logging.log4j.log4j-1.2-api 从 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-api 从 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-core 从 2.20.0 到 2.22.1
- org.apache.logging.log4j.log4j-slf4j2-impl 从 2.20.0 到 2.22.1
- org.postgresql.postgresql 从 42.6.0 到 42.6.1
Apache Spark
Databricks Runtime 15.0 包含 Apache Spark 3.5.0。 此版本包括 Databricks Runtime 14.3 LTS 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他 bug 修复和改进：
- [SPARK-45527] [DBRRM-805][ES-1073714] 还原“[SC-151626][CORE] 使用分数进行资源计算”
- [SPARK-47102] [DBRRM-803][SC-158253][SQL] 添加
COLLATION_ENABLED配置标志 - [SPARK-46973] [SC-158140][DBRRM-777][SQL] 当表位于 V1 表缓存中时跳过 V2 表查找
- [SPARK-46808] [SC-154113][PYTHON] 使用自动排序函数优化 Python 中的错误类
- [SPARK-47251] [SC-158291][PYTHON] 阻止
sql命令的args参数中的无效类型 - [SPARK-47251] [SC-158121][PYTHON] 阻止
sql命令的args参数中的无效类型 - [SPARK-47108] [SC-157204][CORE] 在 CLI 中显式将
derby.connection.requireAuthentication设置为false - [SPARK-45599] [SC-157537][CORE] 在 OpenHashSet 中使用对象相等性
- [SPARK-47099] [SC-157352][SQL] 使用
ordinalNumber统一设置错误类UNEXPECTED_INPUT_TYPE的paramIndex值 - [SPARK-46558] [SC-151363][CONNECT] 提取帮助程序函数，以消除从
GrpcExceptionConverter中的ErrorParams检索MessageParameters的重复代码 - [SPARK-43117] [SC-156177][CONNECT] 使
ProtoUtils.abbreviate支持重复字段 - [SPARK-46342] [SC-150283][SQL] 将 sql 中的
IllegalStateException替换为SparkException.internalError - [SPARK-47123] [SC-157412][CORE] JDBCRDD 无法正确处理 getQueryOutputSchema 中的错误
- [SPARK-47189] [SC-157667][SQL] 调整列错误名称和文本
- [SPARK-45789] [SC-157101][SQL] 支持群集列的DESCRIBE TABLE
- [SPARK-43256] [SC-157699][SQL] 移除错误类 _LEGACY_ERROR_TEMP_2021
- [SPARK-47201] [SC-157782][PYTHON][CONNECT]
sameSemantics检查输入类型 - [SPARK-47183] [SC-157660][PYTHON] 修复
sameSemantics的错误类 - [SPARK-47179] [SC-157663][SQL] 改进 SparkThrowableSuite 的错误消息以提高可调试性
- [SPARK-46965] [SC-155791][CORE] 检查
Utils.getLog中的logType - [SPARK-46832] [SC-156774][SQL] 引入排序规则和排序规则表达式
- [SPARK-46946] [SC-155721][SQL] 支持在 DynamicPruning 中广播多个筛选键
- [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] 将 Variant 类型信息添加到 PySpark
- [SPARK-47101] [SC-157360][SQL] 允许在顶级列名中使用逗号，并删除
HiveExternalCatalog.verifyDataSchema中的检查嵌套类型定义 - [SPARK-47173] [SC-157571][SS][UI] 修复流式处理 UI 说明中的拼写错误
- [SPARK-47113] [SC-157348][CORE] 还原 SPARK-35878 的 S3A 终结点修复逻辑
- [SPARK-47130] [SC-157462][CORE] 清理驱动程序日志时使用 listStatus 绕过阻止位置信息
- [SPARK-43259] [SC-157368][SQL] 将名称分配到错误类 _LEGACY_ERROR_TEMP_2024
- [SPARK-47104] [SC-157355][SQL]
TakeOrderedAndProjectExec应初始化不安全投影 - [SPARK-47137] [SC-157463][PYTHON][CONNECT] 将 getAll 添加到 spark.conf，以用于 Scala 功能奇偶一致性
- [SPARK-46924] [SC-154905][CORE] 修复
Master/HistoryServer日志 UI 中的Load New按钮 - [SPARK-47069] [SC-157370][PYTHON][CONNECT] 为基于 SparkSession 的分析引入
spark.profile.show/dump - [SPARK-46812] [SC-157075][SQL][PYTHON] 使 mapInPandas / mapInArrow 支持 ResourceProfile
- [SPARK-46833] [SC-155866][SQL] 排序规则 - 引入为支持的排序规则提供比较和哈希规则的 CollationFactory
- [SPARK-47057] [SC-157036][PYTHON] 重新收集 MyPy 数据测试
- [SPARK-46934] [SC-157084][SQL] 对 HMS 使用特殊字符的结构类型的读/写往返
- [SPARK-46727] [SC-153472][SQL] 错误类的 JDBC 方言中的端口
classifyException() - [SPARK-46964] [SC-155740][SQL] 更改 hllInvalidLgK 查询执行错误的签名，将整数作为第 4 个参数
- [SPARK-46949] [SC-155719][SQL] 通过 ResolveDefaultColumns 支持 CHAR/VARCHAR
- [SPARK-46972] [SC-155888][SQL] 修复 V2SessionCatalog.createTable 中 char/varchar 的非对称替换
- [SPARK-47014] [SC-156778][PYTHON][CONNECT] 实现 SparkSession 的方法 dumpPerfProfiles 和 dumpMemoryProfiles
- [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] 支持组/cogroup applyInPandas/applyInArrow 中的 v2 分析
- [SPARK-47040] [SC-156773][CONNECT] 允许 Spark Connect 服务器脚本等待
- [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] 支持聚合 Pandas UDF 中的 v2 分析
- [SPARK-47004] [SC-156499][CONNECT] 向 ClientStreamingQuerySuite 添加了更多测试，以提高 Scala 客户端测试覆盖率
- [SPARK-46994] [SC-156169][PYTHON] 重构 PythonWrite 以准备支持 python 数据源流式写入
- [SPARK-46979] [SC-156587][SS] 添加对单独指定键和值编码器的支持，并为 RocksDB 状态存储提供程序中的每个 col 系列添加支持
- [SPARK-46960] [SC-155940][SS] 使用 TransformWithState 运算符测试多个输入流
- [SPARK-46966] [SC-156112][Python] 为“analyze”方法添加 UDTF API 以指示要选择的输入表列的子集
- [SPARK-46895] [SC-155950][CORE] 将计时器替换为单线程计划执行程序
- [SPARK-46967] [SC-155815][CORE][UI] 隐藏
ExecutorsUI 中Dead执行程序Thread Dump和Heap Histogram - [SPARK-46512] [SC-155826][CORE] 在使用排序和组合时优化随机读取。
- [SPARK-46958] [SC-155942][SQL] 添加缺少的时区以强制默认值
- [SPARK-46754] [SC-153830][SQL][AVRO] 修复 avro 表定义和写入选项中的压缩代码解析
- [SPARK-46728] [SC-154207][PYTHON] 正确检查 Pandas 安装
- [SPARK-43403] [SC-154216][UI] 确保 HistoryServer 中的旧 SparkUI 在加载新 Spark 之前已分离
- [SPARK-39910] [SC-156203][SQL] 在 DataSource 文件路径 globbing 期间委托文件系统的路径限定
- [SPARK-47000] [SC-156123] 重提问题“[SC-156123][CORE] 使用
getTotalMemorySize… - [SPARK-46819] [SC-154560][CORE] 将错误类别和状态移动到 JSON
- [SPARK-46997] [SC-156175][CORE] 默认启用
spark.worker.cleanup.enabled - [SPARK-46865] [SC-156168][SS] 添加对 TransformWithState 运算符的 Batch 支持
- [SPARK-46987] [SC-156040][CONNECT]
ProtoUtils.abbreviate避免不必要的setField操作 - [SPARK-46970] [SC-155816][CORE] 使用
pattern matching重写OpenHashSet#hasher - [SPARK-46984] [SC-156024][PYTHON] 删除 pyspark.copy_func
- [SPARK-47000] [SC-156123][CORE] 在
WorkerArguments中使用getTotalMemorySize - [SPARK-46980] [SC-155914][SQL][MINOR] 避免在数据帧端到端测试中使用内部 API
- [SPARK-46931] 重提问题“[SC-155661][PS] 实现
{Frame, Series}.to_hdf” - [SPARK-46618] [SC-153828][SQL] 改进 DATA_SOURCE_NOT_FOUND 错误的错误消息
- [SPARK-46849] [SC-154586][SQL] 在 CREATE TABLE 列默认值上运行优化器
- [SPARK-46911] [SC-155724][SS] 将 deleteIfExists 运算符添加到 StatefulProcessorHandleImpl
- [SPARK-43273] [SQL] 支持 parquet 的
lz4raw压缩编解码器 - [SPARK-47002] [SC-156223][Python] 如果 UDTF“analyze”方法“orderBy”字段意外返回字符串列表，则返回更好的错误消息
- [SPARK-46890] [SC-155802][SQL] 修复存在默认值和列修剪的 CSV 分析 bug
- [SPARK-46977] [SC-155892][CORE] 未能从一个 NameNode 获取令牌的请求不应跳过后续令牌请求
- [SPARK-46608] [SC-151806][SQL] 还原
JdbcDialect.classifyException的向后兼容性 - [SPARK-46908] [SC-155702][SQL] 在 WHERE 子句中支持 star 子句
- [SPARK-46908] [SC-155702][SQL] 在 WHERE 子句中支持 star 子句
- [SPARK-46852] [SC-155665][SS] 移除显式密钥编码器的使用并将其隐式传递给 transformWithState 运算符的运算符
- [SPARK-46864] [SC-155669][SS] 将任意 StateV2 加入到新的错误类框架
- [SPARK-45807] [SC-155706][SQL] 调用 replaceView(..) 后返回视图
- [SPARK-46899] [SC-154651][CORE] 在
spark.ui.killEnabled为false时从MasterWebUI中移除POSTAPI - [SPARK-46868] [SC-154539][CORE] 支持 Spark 辅助角色日志 UI
- [SPARK-46931] [SC-155661][PS] 实现
{Frame, Series}.to_hdf - [SPARK-46940] [SC-155667][CORE] 移除
o.a.s.u.Utils中未使用的updateSparkConfigFromProperties和isAbsoluteURI - [SPARK-46929] [SC-155659][CORE][CONNECT][SS] 使用 ThreadUtils.shutdown 关闭线程池
- [SPARK-46400] [SC-155658][CORE][SQL] 本地 maven 存储库中存在损坏的文件时，跳过此缓存并重试
- [SPARK-46932] [SC-155655] 清理
pyspark.pandas.test_*中的导入 - [SPARK-46683] [SC-154120] 编写生成子查询排列的子查询生成器，以提高测试覆盖率
- [SPARK-46914] [SC-154776][UI] 缩短历史记录页上摘要表中的应用名称
- [SPARK-46831] [SC-154699][SQL] 排序规则 - 使用 collationId 字段扩展 StringType 和 PhysicalStringType
- [SPARK-46816] [SC-154415][SS] 为新的任意状态管理运算符、单个 valueState 类型、多个状态变量添加基本支持，对具有/没有更改日志检查点的 RocksDBStateStoreProvider 列系列添加底层支持
- [SPARK-46925] [SC-154890][PYTHON][CONNECT] 添加警告，指示这内存分析安装 memory_profiler
- [SPARK-46927] [SC-154904][PYTHON] 使
assertDataFrameEqual在没有 PyArrow 时正常工作 - [SPARK-46021] [SC-148987][CORE] 支持取消属于作业组的未来作业
- [SPARK-46747] [SC-154789][SQL] 避免在 getTableExistsQuery 中扫描 JDBC 方言
- [SPARK-46904] [SC-154704][UI] 修复历史记录 UI 摘要的显示问题
- [SPARK-46870] [SC-154541][CORE] 支持 Spark 主日志 UI
- [SPARK-46893] [SC-154780][UI] 从 UI 说明中移除内联脚本
- [SPARK-46910] [SC-154760][PYTHON] 消除 PySpark 安装中的 JDK 要求
- [SPARK-46907] [SC-154736][CORE] 在 Spark History Server 中显示驱动程序日志位置
- [SPARK-46902] [SC-154661][UI] 修复 Spark History Server UI 以使用未导出的 setAppLimit
- [SPARK-46687] [SC-154725][PYTHON][CONNECT] 基于 SparkSession 的内存探查器的基本支持
- [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] 将 SimpleDateFormat 替换为 DateTimeFormatter
- [SPARK-46875] [SC-154627][SQL] 当
mode为 null 时，NullPointException应引发not - [SPARK-46872] [SC-154543][CORE] 将
log-view.js恢复为非模块 - [SPARK-46883] [SC-154629][CORE] 支持
/json/clusterutilizationAPI - [SPARK-46886] [SC-154630][CORE] 默认启用
spark.ui.prometheus.enabled - [SPARK-46873] [SC-154638][SS] 不要为同一 Spark 会话重新创建新的 StreamingQueryManager
- [SPARK-46829] [SC-154419][CORE] 从 SparkEnv 中移除 createExecutorEnv
- [SPARK-46827] [SC-154280][CORE] 使
RocksDBPersistenceEngine支持符号链接 - [SPARK-46903] [SC-154662][CORE] 支持 Spark History Server 日志 UI
- [SPARK-46874] [SC-154646][PYTHON] 从
assertDataFrameEqual中移除pyspark.pandas依赖项 - [SPARK-46889] [SC-154639][CORE] 验证
spark.master.ui.decommission.allow.mode设置 - [SPARK-46850] [SC-154443][SQL] 将
_LEGACY_ERROR_TEMP_2102转换为UNSUPPORTED_DATATYPE - [SPARK-46704] [SC-153323][CORE][UI] 修复
MasterPage，以便正确按Duration列对Running Drivers表进行排序 - [SPARK-46796] [SC-154279][SS] 确保在 RocksDB 版本加载上使用正确的远程文件（metadata.zip 中提及）
- [SPARK-46888] [SC-154636][CORE] 修复
Master以在禁用停用时拒绝/workers/kill/请求 - [SPARK-46818] [SC-154422][SQL] 使用不可折叠输入改进 Range 的错误消息
- [SPARK-46898] [SC-154649][CONNECT] 简化 Planner 中的 protobuf 函数转换
- [SPARK-46828] [SC-154413][SQL] 为 spark sql shell 移除远程模式的无效断言
- [SPARK-46733] [SC-154274][CORE] 仅根据中断线程简化 BlockManager。
- [SPARK-46777] [SC-154016][SS] 重构
StreamingDataSourceV2Relation催化剂结构，以更符合批处理版本 - [SPARK-46515] [SC-151716] 添加 MONTHNAME 函数
- [SPARK-46823] [SC-154276][CONNECT][PYTHON]
LocalDataToArrowConversion应检查为 null 性 - [SPARK-46787] [SC-154404][CONNECT]
bloomFilter函数应为无效输入引发AnalysisException - [SPARK-46779] [SC-154045][SQL]
InMemoryRelation同一缓存计划的实例在语义上应等效 - [SPARK-45827] [SC-153973] 禁止对 Variant 列进行分区
- [SPARK-46797] [SC-154085][CORE] 将
spark.deploy.spreadOut重命名为spark.deploy.spreadOutApps - [SPARK-46094] [SC-153421] 支持执行程序 JVM 分析
- [SPARK-46746] [SC-153557][SQL][AVRO] 将编解码器扩展附加到 avro 数据源文件
- [SPARK-46698] [SC-153288][CORE] 将计时器替换为 ConsoleProgressBar 的单线程计划执行程序。
- [SPARK-46629] [SC-153835] 对 STRUCT 类型 DDL 的修复无法获取为 null 性和注释
- [SPARK-46750] [SC-153772][CONNECT][PYTHON] 数据帧 API 代码清理
- [SPARK-46769] [SC-153979][SQL] 优化与时间戳相关的架构推理
- [SPARK-46765] [SC-153904][PYTHON][CONNECT] 使
shuffle指定seed的数据类型 - [SPARK-46579] [SC-151481][SQL] 错误和日志中的 Redact JDBC URL
- [SPARK-46686] [SC-153875][PYTHON][CONNECT] 基于 SparkSession 的 Python UDF 探查器的基本支持
- [SPARK-46748] 还原“[SC-153800][CORE] 移除
*slave*.sh脚… - [SPARK-46707] [SC-153833][SQL] 向表达式添加了可引发字段以改进谓词下推
- [SPARK-46519] [SC-151278][SQL] 清除
error-classes.json文件中未使用的错误类 - [SPARK-46677] [SC-153426][SQL][CONNECT] 修复
dataframe["*"]分辨率 - [SPARK-46317] [SC-150184][PYTHON][CONNECT] 匹配 SparkSession 中具有完整测试覆盖率的次要行为匹配
- [SPARK-46748] [SC-153800][CORE] 移除
*slave*.sh脚本 - [SPARK-46663] [SC-153490][PYTHON] 使用迭代器禁用 pandas UDF 的内存探查器
- [SPARK-46410] [SC-150776][SQL] 将错误类/子类分配给 JdbcUtils.classifyException
- [SPARK-46277] [SC-150126][PYTHON] 验证设置配置的启动 URL
- [SPARK-46612] [SC-153536][SQL] 不要转换从 jdbc 驱动程序检索的数组类型字符串
- [SPARK-46254] [SC-149788][PYTHON] 移除过时的 Python 3.8/3.7 版本检查
- [SPARK-46490] [SC-151335][SQL] 需要
SparkThrowable子类中的错误类 - [SPARK-46383] [SC-153274][SC-147443][WARMFIX] 通过减少
TaskInfo.accumulables()的寿命来减少驱动程序堆使用 - [SPARK-46541] [SC-153109][SQL][CONNECT] 修复自联接中的不明确列引用
- [SPARK-46381] [SC-150495][SQL] 将
AnalysisException子类迁移到错误类 - [SPARK-46351] [SC-150335][SQL] 需要
AnalysisException中的错误类 - [SPARK-46220] [SC-149689][SQL] 限制
decode()中的字符集 - [SPARK-46369] [SC-150340][CORE] 从
MasterPage中的RELAUNCHING驱动程序中移除kill链接 - [SPARK-46052] [SC-153284][CORE] 移除函数 TaskScheduler.killAllTaskAttempts
- [SPARK-46536] [SC-153164][SQL] 支持 GROUP BY calendar_interval_type
- [SPARK-46675] [SC-153209][SQL] 移除 ParquetReadSupport 中未使用的 inferTimestampNTZ
- [SPARK-46717] [SC-153423][CORE] 仅根据中断线程简化
ReloadingX509TrustManager。 - [SPARK-46722] [SC-153438][CONNECT] 添加有关 Spark Connect 中 StreamingQueryListener 向后兼容性检查的测试 (Scala/PySpark)
- [SPARK-46187] [SC-149580][SQL] 对齐
StringDecode的 codegen 和非 codegen 实现 - [SPARK-46258] [SC-149799][CORE] 添加
RocksDBPersistenceEngine - [SPARK-46216] [SC-149676][CORE] 改进
FileSystemPersistenceEngine以支持压缩 - [SPARK-46189] [SC-149567][PS][SQL] 在各种 Pandas 聚合函数中执行相同类型的比较和算术，以避免解释模式错误
- [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] 通过将 Option.isDefined 替换为 Option.isEmpty 来减少堆栈深度
- [SPARK-46700] [SC-153329][CORE] 计算随机磁盘溢出字节指标的最后溢出次数
- [SPARK-45642] [SC-150286][CORE][SQL] 修复
FileSystem.isFile & FileSystem.isDirectory is deprecated - [SPARK-46640] [SC-153272][SQL] 通过排除子查询属性修复 RemoveRedundantAlias
- [SPARK-46681] [SC-153287][CORE] 重构
ExecutorFailureTracker#maxNumExecutorFailures以避免在配置MAX_EXECUTOR_FAILURES时计算defaultMaxNumExecutorFailures - [SPARK-46695] [SC-153289][SQL][HIVE] 始终将 hive.execution.engine 设置为 mr
- [SPARK-46325] [SC-150228][CONNECT] 在
ResponseValidator#wrapIterator中构造WrappedCloseableIterator时移除不必要的替代函数 - [SPARK-46232] [SC-149699][PYTHON] 将所有剩余的 ValueError 迁移到 PySpark 错误框架。
- [SPARK-46547] [SC-153174][SS] 在维护任务中吞没非致命异常，以避免维护线程与流式处理聚合运算符之间的死锁
- [SPARK-46169] [SC-149373][PS] 为
DataFrameAPI 中缺少的参数分配适当的 JIRA 编号。 - [SPARK-45857] [SC-148096][SQL] 强制
AnalysisException子类中的错误类
Databricks ODBC/JDBC 驱动程序支持
Databricks 支持过去 2 年发布的 ODBC/JDBC 驱动程序。 请下载最近发布的驱动程序并升级（下载 ODBC，下载 JDBC）。
系统环境
- 操作系统：Ubuntu 22.04.4 LTS
- Java：Zulu 8.74.0.17-CA-linux64
- Scala：2.12.15
- Python：3.11.0
- R：4.3.2
- Delta Lake: 3.1.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| asttokens | 2.0.5 | astunparse | 1.6.3 | azure-core | 1.30.1 |
| azure-storage-blob | 12.19.1 | azure-storage-file-datalake | 12.14.0 | backcall | 0.2.0 |
| black | 23.3.0 | blinker | 1.4 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 单击 | 8.0.4 | cloudpickle | 2.2.1 | comm | 0.1.2 |
| contourpy | 1.0.5 | 密码系统 | 41.0.3 | cycler | 0.11.0 |
| Cython | 0.29.32 | databricks-sdk | 0.20.0 | dbu-python | 1.2.18 |
| debugpy | 1.6.7 | decorator | 5.1.1 | distlib | 0.3.8 |
| entrypoints | 0.4 | 执行 | 0.8.3 | facets-overview | 1.1.1 |
| filelock | 3.13.1 | fonttools | 4.25.0 | gitdb | 4.0.11 |
| GitPython | 3.1.42 | google-api-core | 2.17.1 | google-auth | 2.28.2 |
| google-cloud-core | 2.4.1 | google-cloud-storage | 2.15.0 | google-crc32c | 1.5.0 |
| google-resumable-media | 2.7.0 | googleapis-common-protos | 1.63.0 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | httplib2 | 0.20.2 | idna | 3.4 |
| importlib-metadata | 6.0.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipywidgets | 8.0.4 | isodate | 0.6.1 |
| jedi | 0.18.1 | jeepney | 0.7.1 | jmespath | 0.10.0 |
| joblib | 1.2.0 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-widgets | 3.0.5 | keyring | 23.5.0 | kiwisolver | 1.4.4 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mlflow-skinny | 2.11.1 |
| more-itertools | 8.10.0 | mypy-extensions | 0.4.3 | nest-asyncio | 1.5.6 |
| numpy | 1.23.5 | oauthlib | 3.2.0 | 打包 | 23.2 |
| pandas | 2.0.3 | parso | 0.8.3 | pathspec | 0.10.3 |
| patsy | 0.5.3 | pexpect | 4.8.0 | pickleshare | 0.7.5 |
| Pillow | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | prompt-toolkit | 3.0.36 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | pyarrow | 14.0.1 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pyccolo | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | 请求 | 2.31.0 |
| rsa | 4.9 | s3transfer | 0.10.0 | scikit-learn | 1.3.0 |
| scipy | 1.11.1 | seaborn | 0.12.2 | SecretStorage | 3.3.1 |
| setuptools | 68.0.0 | 6 | 1.16.0 | smmap | 5.0.1 |
| sqlparse | 0.4.4 | ssh-import-id | 5.11 | stack-data | 0.2.0 |
| statsmodels | 0.14.0 | tenacity | 8.2.2 | threadpoolctl | 2.2.0 |
| tokenize-rt | 4.2.1 | tornado | 6.3.2 | traitlets | 5.7.1 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| unattended-upgrades | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.24.2 |
| wadllib | 1.3.6 | wcwidth | 0.2.5 | wheel | 0.38.4 |
| widgetsnbextension | 4.0.5 | zipp | 3.11.0 |
已安装的 R 库
R 库安装自 2023-02-10 的 Posit Package Manager CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 14.0.0.2 | askpass | 1.2.0 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.3.2 | base64enc | 0.1-3 |
| bigD | 0.2.0 | bit | 4.0.5 | bit64 | 4.0.5 |
| bitops | 1.0-7 | blob | 1.2.4 | 启动 | 1.3-28 |
| brew | 1.0-10 | brio | 1.1.4 | broom | 1.0.5 |
| bslib | 0.6.1 | cachem | 1.0.8 | callr | 3.7.3 |
| caret | 6.0-94 | cellranger | 1.1.0 | chron | 2.3-61 |
| class | 7.3-22 | CLI | 3.6.2 | clipr | 0.8.0 |
| clock | 0.7.0 | cluster | 2.1.4 | codetools | 0.2-19 |
| colorspace | 2.1-0 | commonmark | 1.9.1 | compiler | 4.3.2 |
| config | 0.3.2 | conflicted | 1.2.0 | cpp11 | 0.4.7 |
| crayon | 1.5.2 | 凭据 | 2.0.1 | curl | 5.2.0 |
| data.table | 1.15.0 | datasets | 4.3.2 | DBI | 1.2.1 |
| dbplyr | 2.4.0 | desc | 1.4.3 | devtools | 2.4.5 |
| 示意图 | 1.6.5 | diffobj | 0.3.5 | digest | 0.6.34 |
| downlit | 0.4.3 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
| e1071 | 1.7-14 | ellipsis | 0.3.2 | 评估 | 0.23 |
| fansi | 1.0.6 | farver | 2.1.1 | fastmap | 1.1.1 |
| fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
| foreign | 0.8-85 | forge | 0.2.0 | fs | 1.6.3 |
| future | 1.33.1 | future.apply | 1.11.1 | gargle | 1.5.2 |
| generics | 0.1.3 | gert | 2.0.1 | ggplot2 | 3.4.4 |
| gh | 1.4.0 | git2r | 0.33.0 | gitcreds | 0.1.2 |
| glmnet | 4.1-8 | globals | 0.16.2 | glue | 1.7.0 |
| googledrive | 2.1.1 | googlesheets4 | 1.1.1 | gower | 1.0.1 |
| graphics | 4.3.2 | grDevices | 4.3.2 | grid | 4.3.2 |
| gridExtra | 2.3 | gsubfn | 0.7 | gt | 0.10.1 |
| gtable | 0.3.4 | hardhat | 1.3.1 | haven | 2.5.4 |
| highr | 0.10 | hms | 1.1.3 | htmltools | 0.5.7 |
| htmlwidgets | 1.6.4 | httpuv | 1.6.14 | httr | 1.4.7 |
| httr2 | 1.0.0 | ids | 1.0.1 | ini | 0.3.1 |
| ipred | 0.9-14 | isoband | 0.2.7 | iterators | 1.0.14 |
| jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
| KernSmooth | 2.23-21 | knitr | 1.45 | labeling | 0.4.3 |
| later | 1.3.2 | lattice | 0.21-8 | lava | 1.7.3 |
| lifecycle | 1.0.4 | listenv | 0.9.1 | lubridate | 1.9.3 |
| magrittr | 2.0.3 | markdown | 1.12 | MASS | 7.3-60 |
| Matrix | 1.5-4.1 | memoise | 2.0.1 | 方法 | 4.3.2 |
| mgcv | 1.8-42 | mime | 0.12 | miniUI | 0.1.1.1 |
| mlflow | 2.10.0 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
| munsell | 0.5.0 | nlme | 3.1-163 | nnet | 7.3-19 |
| numDeriv | 2016.8-1.1 | openssl | 2.1.1 | parallel | 4.3.2 |
| parallelly | 1.36.0 | pillar | 1.9.0 | pkgbuild | 1.4.3 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.4 |
| plogr | 0.2.0 | plyr | 1.8.9 | praise | 1.0.0 |
| prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.3 |
| prodlim | 2023.08.28 | profvis | 0.3.8 | 进度 | 1.2.3 |
| progressr | 0.14.0 | promises | 1.2.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.6 | purrr | 1.0.2 |
| R6 | 2.5.1 | ragg | 1.2.7 | randomForest | 4.7-1.1 |
| rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
| Rcpp | 1.0.12 | RcppEigen | 0.3.3.9.4 | reactable | 0.4.4 |
| reactR | 0.5.0 | readr | 2.1.5 | readxl | 1.4.3 |
| recipes | 1.0.9 | rematch | 2.0.0 | rematch2 | 2.1.2 |
| remotes | 2.4.2.1 | reprex | 2.1.0 | reshape2 | 1.4.4 |
| rlang | 1.1.3 | rmarkdown | 2.25 | RODBC | 1.3-23 |
| roxygen2 | 7.3.1 | rpart | 4.1.21 | rprojroot | 2.0.4 |
| Rserve | 1.8-13 | RSQLite | 2.3.5 | rstudioapi | 0.15.0 |
| rversions | 2.1.2 | rvest | 1.0.3 | sass | 0.4.8 |
| scales | 1.3.0 | selectr | 0.4-2 | sessioninfo | 1.2.2 |
| shape | 1.4.6 | shiny | 1.8.0 | sourcetools | 0.1.7-1 |
| sparklyr | 1.8.4 | spatial | 7.3-15 | splines | 4.3.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.3.2 |
| stats4 | 4.3.2 | stringi | 1.8.3 | stringr | 1.5.1 |
| survival | 3.5-5 | swagger | 3.33.1 | sys | 3.4.2 |
| systemfonts | 1.0.5 | tcltk | 4.3.2 | testthat | 3.2.1 |
| textshaping | 0.3.7 | tibble | 3.2.1 | tidyr | 1.3.1 |
| tidyselect | 1.2.0 | tidyverse | 2.0.0 | timechange | 0.3.0 |
| timeDate | 4032.109 | tinytex | 0.49 | 工具 | 4.3.2 |
| tzdb | 0.4.0 | urlchecker | 1.0.1 | usethis | 2.2.2 |
| utf8 | 1.2.4 | utils | 4.3.2 | uuid | 1.2-0 |
| V8 | 4.4.1 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
| vroom | 1.6.5 | waldo | 0.5.2 | whisker | 0.4.1 |
| withr | 3.0.0 | xfun | 0.41 | xml2 | 1.3.6 |
| xopen | 1.0.0 | xtable | 1.8-4 | yaml | 2.3.8 |
| zeallot | 0.1.0 | zip | 2.3.1 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | databricks-sdk-java | 0.17.1 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.15.2 |
| com.fasterxml.jackson.core | jackson-core | 2.15.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.5-4 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.10.1 |
| com.google.crypto.tink | tink | 1.9.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 23.5.26 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.4.3 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.3 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.16.0 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.13.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.25 |
| io.delta | delta-sharing-client_2.12 | 1.0.4 |
| io.dropwizard.metrics | metrics-annotation | 4.2.19 |
| io.dropwizard.metrics | metrics-core | 4.2.19 |
| io.dropwizard.metrics | metrics-graphite | 4.2.19 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.19 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
| io.dropwizard.metrics | metrics-jmx | 4.2.19 |
| io.dropwizard.metrics | metrics-json | 4.2.19 |
| io.dropwizard.metrics | metrics-jvm | 4.2.19 |
| io.dropwizard.metrics | metrics-servlets | 4.2.19 |
| io.netty | netty-all | 4.1.96.Final |
| io.netty | netty-buffer | 4.1.96.Final |
| io.netty | netty-codec | 4.1.96.Final |
| io.netty | netty-codec-http | 4.1.96.Final |
| io.netty | netty-codec-http2 | 4.1.96.Final |
| io.netty | netty-codec-socks | 4.1.96.Final |
| io.netty | netty-common | 4.1.96.Final |
| io.netty | netty-handler | 4.1.96.Final |
| io.netty | netty-handler-proxy | 4.1.96.Final |
| io.netty | netty-resolver | 4.1.96.Final |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-linux-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-aarch_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-osx-x86_64 |
| io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-windows-x86_64 |
| io.netty | netty-tcnative-classes | 2.0.61.Final |
| io.netty | netty-transport | 4.1.96.Final |
| io.netty | netty-transport-classes-epoll | 4.1.96.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.96.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.96.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.96.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.10.11 |
| org.apache.ant | ant-jsch | 1.10.11 |
| org.apache.ant | ant-launcher | 1.10.11 |
| org.apache.arrow | arrow-format | 15.0.0 |
| org.apache.arrow | arrow-memory-core | 15.0.0 |
| org.apache.arrow | arrow-memory-netty | 15.0.0 |
| org.apache.arrow | arrow-vector | 15.0.0 |
| org.apache.avro | avro | 1.11.3 |
| org.apache.avro | avro-ipc | 1.11.3 |
| org.apache.avro | avro-mapred | 1.11.3 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.23.0 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
| org.apache.logging.log4j | log4j-api | 2.22.1 |
| org.apache.logging.log4j | log4j-core | 2.22.1 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
| org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
| org.apache.orc | orc-shims | 1.9.2 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.23 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.31.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.collections | eclipse-collections | 11.1.0 |
| org.eclipse.collections | eclipse-collections-api | 11.1.0 |
| org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-continuation | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-plus | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-security | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-server | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlet | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
| org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
| org.glassfish.jersey.core | jersey-client | 2.40 |
| org.glassfish.jersey.core | jersey-common | 2.40 |
| org.glassfish.jersey.core | jersey-server | 2.40 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.ini4j | ini4j | 0.5.4 |
| org.javassist | javassist | 3.29.2-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mlflow | mlflow-spark_2.12 | 2.9.1 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.6.1 |
| org.roaringbitmap | RoaringBitmap | 0.9.45 |
| org.roaringbitmap | shims | 0.9.45 |
| org.rocksdb | rocksdbjni | 8.3.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.7 |
| org.slf4j | jul-to-slf4j | 2.0.7 |
| org.slf4j | slf4j-api | 2.0.7 |
| org.slf4j | slf4j-simple | 1.7.25 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.10.3 |
| org.yaml | snakeyaml | 2.0 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |