Databricks Runtime 13.1 (EoS)
注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
以下发行说明提供了由 Apache Spark 3.4.0 提供支持的 Databricks Runtime 13.1 的相关信息。
Databricks 于 2023 年 5 月发布此版本。
新增功能和改进
- 对 JDK 17（公开预览版）的群集支持
- 在流式处理表中添加、更改或删除数据
- 使用 SQL 读取 Kafka
- 新的 SQL 内置函数
- Unity Catalog 对群集范围的 Python 库的支持
- 扩展了 Unity Catalog 中优化写入的默认启用功能
- 结构化流式处理工作负载中对有状态运算符的高级支持
- Unity Catalog 的 Delta 克隆以公共预览版提供
- 对结构化流式处理的 Pub/Sub 支持
- 在结构化流式处理中删除水印内的重复项
- 对从包含截断分区列的 Iceberg 表进行 Delta 转换的扩展支持
- Delta Lake 中使用列映射流式传输架构更改
- 删除 START VERSION
- 可用于 Python 的新 H3 表达式
对 JDK 17（公开预览版）的群集支持
Databricks 现在为 Java 开发工具包 (JDK) 17 提供群集支持。 请参阅 Databricks SDK for Java。
在流式处理表中添加、更改或删除数据
现在，可以使用 DML 语句修改经由 Delta Live Tables 管道发布到 Unity Catalog 的流式处理表。 请参阅在流式处理表中添加、更改或删除数据和在目标流式处理表中添加、更改或删除数据。 还可以使用 DML 语句修改在 Databricks SQL 中创建的流式处理表。
使用 SQL 读取 Kafka
现在可以使用 read_kafka SQL 函数读取 Kafka 数据。 仅增量实时表或 Databricks SQL 中的流式处理表支持使用 SQL 进行流式处理。 请参阅 read_kafka table-valued 函数。
新的 SQL 内置函数
添加了以下函数：
- array_prepend(array, elem) 返回以
elem为前缀的array。 - try_aes_decrypt(expr, key [, mode [, padding]]) 解密使用 AES 加密生成的二进制文件，如果出现错误，则返回
NULL。 - sql_keywords() 返回 Azure Databricks SQL 关键字的表。
Unity Catalog 对群集范围的 Python 库的支持
Unity Catalog 对库的使用有一些限制。 在 Databricks Runtime 13.1 及更高版本中，支持群集范围的 Python 库（包括作为工作区文件上传的 Python wheel 文件）。 不支持使用 DBFS 文件路径引用的库，无论是在 DBFS 根目录中，还是在装载到 DBFS 的外部位置。 不支持非 Python 库。 请参阅群集库。
在 Databricks Runtime 13.0 及更低版本中，在启用了 Unity Catalog 的工作区中使用共享访问模式的群集不支持群集范围的库。
扩展了 Unity Catalog 中优化写入的默认启用功能
针对 Unity Catalog 中注册的 Delta 表的默认优化写入支持已经扩展，现包含用于已分区表的 CTAS 语句和 INSERT 操作。 此行为与 SQL 仓库的默认设置保持一致。 请参阅 Azure Databricks 上的 Delta Lake 的优化写入。
结构化流式处理工作负载中对有状态运算符的高级支持
现在可以将多个有状态运算符链接在一起，这意味着可以将操作的输出（如开窗聚合）馈送到另一个有状态操作（如联接）。 请参阅什么是有状态流式处理？。
Unity Catalog 的 Delta 克隆以公共预览版提供
现在可以使用浅表克隆根据现有的 Unity Catalog 托管表创建新的 Unity Catalog 托管表。 请参阅适用于 Unity Catalog 表的浅表克隆。
对结构化流式处理的 Pub/Sub 支持
现在可以使用内置连接器通过结构化流式处理来订阅 Google Pub/Sub。
在结构化流式处理中删除水印内的重复项
现在可以将 dropDuplicatesWithinWatermark 与指定的水印阈值结合使用，以在结构化流式处理中删除重复记录。 请参阅删除水印内的重复项。
对从包含截断分区列的 Iceberg 表进行 Delta 转换的扩展支持
现在可以将 CLONE 和 CONVERT TO DELTA 用于在 int、long 和 string 类型的截断列上定义了分区的 Iceberg 表。 decimal 类型的截断列不受支持。
Delta Lake 中使用列映射流式传输架构更改
现在可提供一个架构跟踪位置，以便在启用了列映射的 Delta 表中启用流式处理。 请参阅使用列映射和架构更改进行流式处理。
删除 START VERSION
现已对 ALTER SHARE 弃用了 START VERSION。
可用于 Python 的新 H3 表达式
h3_coverash3 和 h3_coverash3string 表达式可用于 Python。
Bug 修复
Parquet failOnUnknownFields 不再以无提示方式删除类型不匹配的数据
如果仅使用 failOnUnknownFields 选项读取 Parquet 文件，或在 failOnNewColumns 架构演化模式下使用自动加载程序来这样做，则具有不同数据类型的列现在会失败，会建议用户使用 rescuedDataColumn。 如果提供了其中某种数据类型，则自动加载程序现在可以正确读取，而不再补救 Integer、Short、Byte 类型。 Parquet 文件建议使用其他两种类型之一。
中断性变更
将 sqlite-jdbc 版本升级到 3.42.0.0，以解决 CVE-2023-32697 问题
将 sqlite-jdbc 版本从 3.8.11.2 升级到 3.42.0.0。 版本为 3.42.0.0 的 API 与 3.8.11.2 不完全兼容。 如果在代码中使用 sqlite-jdbc，请检查 sqlite-jdbc 兼容性报告以了解详细信息。 如果迁移到 13.1 并使用 sqlite，请在版本 3.42.0.0 中确认方法并返回类型。
库升级
- 升级了 Python 库：
- facets-overview 已从 1.0.2 升级到 1.0.3
- filelock 已从 3.10.7 升级到 3.12.0
- pyarrow 已从 7.0.0 升级为 8.0.0
- tenacity 已从 8.0.1 升级到 8.1.0
- 升级了 R 库：
- 升级了 Java 库：
- com.github.ben-manes.caffeine.caffeine 已从 2.3.4 升级到 2.9.3
- org.apache.orc.orc-core 已从 1.8.2-shaded-protobuf 升级到 1.8.3-shaded-protobuf
- org.apache.orc.orc-mapreduce 已从 1.8.2-shaded-protobuf 升级到 1.8.3-shaded-protobuf
- org.apache.orc.orc-shims 已从 1.8.2 升级到 1.8.3
- org.checkerframework.checker-qual 已从 3.5.0 升级到 3.19.0
- org.scalactic.scalactic_2.12 已从 3.0.8 升级到 3.2.15
- org.scalatest.scalatest_2.12 已从 3.0.8 升级到 3.2.15
- org.xerial.sqlite-jdbc 已从 3.8.11.2 升级到 3.42.0.0
Apache Spark
Databricks Runtime 13.1 包含 Apache Spark 3.4.0。 此版本包括 Databricks Runtime 13.0 (EoS) 中包含的所有 Spark 修复和改进，以及对 Spark 进行的以下其他缺陷修复和改进：
- [SPARK-42719] [DBRRM-199][SC-131578] Revert "[SC-125225] `MapOutputTracker#getMap…
- [SPARK-39696] [DBRRM-166][SC-130056][CORE] 还原 [SC-127830]/
- [SPARK-43331] [SC-130064][CONNECT] 添加 Spark Connect SparkSession.interruptAll
- [SPARK-16484] [13.1][CHERRY_PICK][SC-130076][SQL] 使用 8 位寄存器来表示 DataSketches
- [SPARK-43332] [SC-130051][CONNECT][PYTHON] 使得为 SparkConnectClient 扩展 ChannelBuilder 成为可能
- [SPARK-43323] [SC-129966][SQL][PYTHON] 修复启用了 Arrow 的 DataFrame.toPandas 以正确处理异常
- [SPARK-42940] [SC-129896][SS][CONNECT] 改进流式处理查询的会话管理
- [SPARK-43336] [SQL] 在 Timestamp 和 TimestampNTZ 之间强制转换时需要时区
- [SPARK-43032] [SC-125756] [CONNECT][SS] 添加流式处理查询管理器
- [SPARK-16484] [SC-129975][SQL] 添加对 Datasketches HllSketch 的支持
- [SPARK-43260] [SC-129281][PYTHON] 将 Spark SQL pandas 箭头类型错误迁移到错误类。
- [SPARK-41766] [SC-129964][CORE] 处理在执行程序注册之前发送的解除授权请求
- [SPARK-43307] [SC-129971][PYTHON] 将 PandasUDF 值错误迁移到错误类
- [SPARK-43206] [SC-129903] [SS] [CONNECT] StreamingQuery exception() 包括堆栈跟踪
- [SPARK-43311] [SC-129905][SS] 添加 RocksDB 状态存储提供程序内存管理增强功能
- [SPARK-43237] [SC-129898][CORE] 处理事件日志中的 null 异常消息
- [SPARK-43320] [SC-129899][SQL][HIVE] 直接调用 Hive 2.3.9 API
- [SPARK-43270] [SC-129897][PYTHON] 在
pyspark.sql.dataframe.DataFrame中实现__dir__()以包含列 - [SPARK-43183] 还原“[SC-128938][SS] 引入新的回调”...
- [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
- [SPARK-43257] [SC-129675][SQL] 以内部错误代替错误类 _LEGACY_ERROR_TEMP_2022
- [SPARK-43198] [SC-129470][CONNECT] 修复在使用筛选器时出现的“无法初始化类 ammonite...”错误
- [SPARK-43165] [SC-129777][SQL] 将 canWrite 移到 DataTypeUtils
- [SPARK-43298] [SC-129729][PYTHON][ML] 带有标量输入的 predict_batch_udf 失败，批大小为 1
- [SPARK-43298] [SC-129700] 还原“[PYTHON][ML] 带有标量输入的 predict_batch_udf 失败，批大小为 1”
- [SPARK-43052] [SC-129663][CORE] 处理事件日志中具有 null 文件名的堆栈跟踪
- [SPARK-43183] [SC-128938][SS] 向 StreamingQueryListener 引入新的回调“onQueryIdle”
- [SPARK-43209] [SC-129190][CONNECT][PYTHON] 将表达式错误迁移到错误类
- [SPARK-42151] [SC-128754][SQL] 使 UPDATE 分配与表属性保持一致
- [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM 客户端 StreamingQuery exception() API
- [SPARK-43298] [SC-129699][PYTHON][ML] 带有标量输入的 predict_batch_udf 失败，批大小为 1
- [SPARK-43248] [SC-129660][SQL] 在并行收集分区统计信息时对 Path 进行不必要的序列化/反序列化
- [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] 引入
PySparkNotImplementedError - [SPARK-43146] [SC-128804][CONNECT][PYTHON] 实现针对 repr 和 repr_html 的预先评估
- [SPARK-42953] [SC-129469][Connect][Followup] 修复 Scala 客户端 UDF 测试的 maven 测试生成
- [SPARK-43144] [SC-129280] Scala 客户端 DataStreamReader table() API
- [SPARK-43136] [SC-129358][CONNECT] 添加 groupByKey + mapGroup + coGroup 函数
- [SPARK-43156] [SC-129672][SC-128532][SQL] 修复相关标量子查询中的
COUNT(*) is nullbug - [SPARK-43046] [SC-129110] [SS] [Connect] 实现了适用于 Spark Connect 的 Python API dropDuplicatesWithinWatermark
- [SPARK-43199] [SC-129467][SQL] 使 InlineCTE 幂等
- [SPARK-43293] [SC-129657][SQL] 在正常列中应忽略
__qualified_access_only - [SPARK-43276] [SC-129461][CONNECT][PYTHON] 将 Spark Connect 窗口错误迁移到错误类
- [SPARK-43174] [SC-129109][SQL] 修复 SparkSQLCLIDriver 完成程序
- [SPARK-43084] [SC-128654] [SS] 添加对 Spark Connect 的 applyInPandasWithState 支持
- [SPARK-43119] [SC-129040][SQL] 支持通过 JDBC API 和 TVF 动态获取 SQL 关键字
- [SPARK-43082] [SC-129112][CONNECT][PYTHON] Spark Connect 中已经过 Arrow 优化的 Python UDF
- [SPARK-43085] [SC-128432][SQL] 对多部分表名支持列 DEFAULT 分配
- [SPARK-43156] [SC-129463][SPARK-43098][SQL] 在禁用 decorrelateInnerQuery 的情况下扩展标量子查询计数 bug 测试
- [SPARK-43226] [LC-671] 为文件常量元数据定义提取程序
- [SPARK-43210] [SC-129189][CONNECT][PYTHON] 引入
PySparkAssertionError - [SPARK-43214] [SC-129199][SQL] 发布 LocalTableScanExec/CommandResultExec 的驱动程序端指标
- [SPARK-43285] [SC-129347] 修复了 ReplE2ESuite 在 JDK 17 中一直失败的问题
- [SPARK-43268] [SC-129249][SQL] 使用消息构造异常时使用适当错误类
- [SPARK-43142] [SC-129299] 修复具有特殊字符的属性上的 DSL 表达式
- [SPARK-43129] [SC-128896] 用于流式处理 Spark Connect 的 Scala 核心 API
- [SPARK-43233] [SC-129250] [SS] 为 Kafka 批量读取功能添加日志记录，以记录主题分区、偏移范围和任务 ID
- [SPARK-43249] [SC-129195][CONNECT] 修复 SQL 命令缺少统计信息的问题
- [SPARK-42945] [SC-129188][CONNECT] 在 Spark Connect 中支持 PYSPARK_JVM_STACKTRACE_ENABLED
- [SPARK-43178] [SC-129197][CONNECT][PYTHON] 将 UDF 错误迁移到 PySpark 错误框架
- [SPARK-43123] [SC-128494][SQL] 不应将内部字段元数据泄露到目录
- [SPARK-43217] [SC-129205] 在 findNestedField 中正确递归到嵌套映射/数组
- [SPARK-43243] [SC-129294][PYTHON][CONNECT] 向适用于 Python 的 printSchema 添加级别参数
- [SPARK-43230] [SC-129191][CONNECT] 简化
DataFrameNaFunctions.fillna - [SPARK-43088] [SC-128403][SQL] 在 CTAS/RTAS 中遵循 RequiresDistributionAndOrdering
- [SPARK-43234] [SC-129192][CONNECT][PYTHON] 将
ValueError从 Conect DataFrame 迁移到错误类 - [SPARK-43212] [SC-129187][SS][PYTHON] 将结构化流式处理错误迁移到错误类
- [SPARK-43239] [SC-129186][PS] 从 info() 中删除
null_counts - [SPARK-43190] [SC-128930][SQL] ListQuery.childOutput 应与子输出一致
- [SPARK-43191] [SC-128924][CORE] 将反射替换为直接调用 Hadoop CallerContext
- [SPARK-43193] [SC-129042][SS] 删除针对 HADOOP-12074 的解决方法
- [SPARK-42657] [SC-128621][CONNECT] 支持查找客户端 REPL 类文件并将其作为项目传输到服务器
- [SPARK-43098] [SC-77059][SQL] 修复在标量子查询具有 group by 子句时的正确性 COUNT bug
- [SPARK-43213] [SC-129062][PYTHON] 将
DataFrame.offset添加到 vanilla PySpark - [SPARK-42982] [SC-128400][CONNECT][PYTHON] 修复 createDataFrame 以遵循给定的架构 ddl
- [SPARK-43124] [SC-129011][SQL] Dataset.show 在本地投影 CommandResults
- [SPARK-42998] [SC-127422][CONNECT][PYTHON] 修复具有 null 结构的 DataFrame.collect
- [SPARK-41498] [SC-125343]还原“通过 Union 传播元数据”
- [SPARK-42960] [SC-129010] [CONNECT] [SS] 为 Python 中的流式处理查询添加 await_termination() 和 exception() API
- [SPARK-42552] [SC-128824][SQL] 更正 antlr 分析程序的两阶段分析策略
- [SPARK-43207] [SC-128937][CONNECT] 添加帮助程序函数以从文本表达式中提取值
- [SPARK-43186] [SC-128841][SQL][HIVE] 删除针对 FileSinkDesc 的解决方法
- [SPARK-43107] [SC-128533][SQL] 在应用于广播联接流端的联接中联合存储桶
- [SPARK-43195] [SC-128922][CORE] 删除 HadoopFSUtils 中不必要的可序列化包装器
- [SPARK-43137] [SC-128828][SQL] 如果位置可折叠且为正，则改进 ArrayInsert。
- [SPARK-37829] [SC-128827][SQL] Dataframe.joinWith 外部联接应为不匹配的行返回 null 值
- [SPARK-43042] [SC-128602] [SS] [Connect] 为 DataStreamReader 添加 table() API 支持
- [SPARK-43153] [SC-128753][CONNECT] 在数据帧为本地数据帧时跳过 Spark 执行
- [SPARK-43064] [SC-128496][SQL] Spark SQL CLI SQL 选项卡应仅显示“一次”语句一次
- [SPARK-43126] [SC-128447][SQL] 将两个 Hive UDF 表达式标记为有状态
- [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] 将嵌套
if语句合并为单个if语句 - [SPARK-43113] [SC-128749][SQL] 在为绑定条件生成代码时评估流端变量
- [SPARK-42895] [SC-127258][CONNECT] 改进已停止的 Spark 会话的错误消息
- [SPARK-42884] [SC-126662][CONNECT] 添加 Ammonite REPL 集成
- [SPARK-43168] [SC-128674][SQL] 从 Datatype 类中删除 get PhysicalDataType 方法
- [SPARK-43121] [SC-128455][SQL] 使用
BytesWritable.copyBytes而不是在 `HiveInspectors 中手动复制 - [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog 在读取端保留 Char/Varchar 元
- [SPARK-43050] [SC-128550][SQL] 通过替换分组函数修复构造聚合表达式
- [SPARK-43095] [SC-128549][SQL] 避免破坏批处理的“一次”策略的幂等性：
Infer Filters - [SPARK-43130] [SC-128597][SQL] 将 InternalType 移到 PhysicalDataType
- [SPARK-43105] [SC-128456][CONNECT] 在 proto 消息中缩写 Bytes 和 String 字段
- [SPARK-43099] [SC-128596][SQL] 将 udf 注册到 FunctionRegistry 时，使用
getName而不是getCanonicalName来获取生成器类名称 - [SPARK-42994] [SC-128586][ML][CONNECT] PyTorch Distributor 支持本地模式
- [SPARK-42859] 还原“[SC-127935][CONNECT][PS] Spark Connect 上对 pandas API 的基本支持”
- [SPARK-43021] [SC-128472][SQL] 当使用 AQE 时，
CoalesceBucketsInJoin不起作用 - [SPARK-43125] [SC-128477][CONNECT] 修复 Connect Server 无法处理包含 Null 消息的异常的问题
- [SPARK-43147] [SC-128594] 修复用于本地检查的 flake8 lint
- [SPARK-43031] [SC-128360] [SS] [Connect] 为流式处理启用单元测试和文档测试
- [SPARK-43039] [LC-67] 支持文件源 _metadata 列中的自定义字段。
- [SPARK-43120] [SC-128407][SS] 添加对跟踪 RocksDB 状态存储固定块内存使用情况的支持
- [SPARK-43110] [SC-128381][SQL] 将 asIntegral 移到 PhysicalDataType
- [SPARK-43118] [SC-128398][SS] 删除 KafkaMicroBatchStream 中 UnintertibleThread 的非必要断言
- [SPARK-43055] [SC-128331][CONNECT][PYTHON] 支持重复的嵌套字段名称
- [SPARK-42437] [SC-128339][PYTHON][CONNECT] PySpark catalog.cacheTable 将允许指定存储级别
- [SPARK-42985] [SC-128332][CONNECT][PYTHON] 修复 createDataFrame 以遵循 SQL 配置
- [SPARK-39696] [SC-127830][CORE] 修复了访问 TaskMetrics.externalAccums 时的数据争用问题
- [SPARK-43103] [SC-128335][SQL] 将 Integral 移到 PhysicalDataType
- [SPARK-42741] [SC-125547][SQL] 当文本为 null 时，请勿在二进制比较中将转换解包
- [SPARK-43057] [SC-127948][CONNECT][PYTHON] 将 Spark Connect 列错误迁移到错误类
- [SPARK-42859] [SC-127935][CONNECT][PS] Spark Connect 上对 pandas API 的基本支持
- [SPARK-43013] [SC-127773][PYTHON] 将
ValueError从数据帧迁移到PySparkValueError。 - [SPARK-43089] [SC-128051][CONNECT] 编修 UI 中的调试字符串
- [SPARK-43028] [SC-128070][SQL] 添加错误类 SQL_CONF_NOT_FOUND
- [SPARK-42999] [SC-127842][Connect] Dataset#foreach、foreachPartition
- [SPARK-43066] [SC-127937][SQL] 在 JavaDatasetSuite 中添加对 dropDuplicates 的测试
- [SPARK-43075] [SC-127939][CONNECT] 在
gRPC未安装时将其更改为grpcio。 - [SPARK-42953] [SC-127809][Connect] 类型化的 filter、map、flatMap、mapPartitions
- [SPARK-42597] [SC-125506][SQL] 支持将日期类型解包为时间戳类型
- [SPARK-42931] [SC-127933][SS] 引入 dropDuplicatesWithinWatermark
- [SPARK-43073] [SC-127943][CONNECT] 添加 proto 数据类型常量
- [SPARK-43077] [SC-128050][SQL] 改进 UNRECOGNIZED_SQL_TYPE 的错误消息
- [SPARK-42951] [SC-128030][SS][Connect] DataStreamReader API
- [SPARK-43049] [SC-127846][SQL] 对 Oracle JDBC 的 StringType 使用 CLOB 而不是 VARCHAR(255)
- [SPARK-43018] [SC-127762][SQL] 修复带时间戳文本的 INSERT 命令的 bug
- [SPARK-42855] [SC-127722][SQL] 在 TableOutputResolver 中使用运行时 null 检查
- [SPARK-43030] [SC-127847][SQL] 删除与元数据列的重复关系
- [SPARK-42993] [SC-127829][ML][CONNECT] 使 PyTorch Distributor 与 Spark Connect 兼容
- [SPARK-43058] [SC-128072][SQL] 将 Numeric 和 Fractional 移到 PhysicalDataType
- [SPARK-43056] [SC-127946][SS] RocksDB 状态存储提交只有在暂停后才应继续后台工作
- [SPARK-43059] [SC-127947][CONNECT][PYTHON] 将 TypeError 从 DataFrame(Reader|Writer) 迁移到错误类
- [SPARK-43071] [SC-128018][SQL] 对 INSERT 源关系支持带有 ORDER BY、LIMIT、OFFSET 的 SELECT DEFAULT
- [SPARK-43061] [SC-127956][CORE][SQL] 引入用于 SQL 运算符执行的 PartitionEvaluator
- [SPARK-43067] [SC-127938][SS] 更正 Kafka 连接器中错误类资源文件的位置
- [SPARK-43019] [SC-127844][SQL] 将 Ordering 移到 PhysicalDataType
- [SPARK-43010] [SC-127759][PYTHON] 将列错误迁移到错误类
- [SPARK-42840] [SC-127782][SQL] 将
_LEGACY_ERROR_TEMP_2004错误更改为内部错误 - [SPARK-43041] [SC-127765][SQL] 还原异常的构造函数，以便在连接器 API 中实现兼容性
- [SPARK-42939] [SC-127761][SS][CONNECT] 适用于 Spark Connect 的核心流式处理 Python API
- [SPARK-42844] [SC-127766][SQL] 将错误类
_LEGACY_ERROR_TEMP_2008更新为INVALID_URL - [SPARK-42316] [SC-127720][SQL] 将名称分配给 _LEGACY_ERROR_TEMP_2044
- [SPARK-42995] [SC-127723][CONNECT][PYTHON] 将 Spark Connect 数据帧错误迁移到错误类
- [SPARK-42983] [SC-127717][CONNECT][PYTHON] 修复 createDataFrame 以正确处理 0 维 numpy 数组
- [SPARK-42955] [SC-127476][SQL] 跳过 classifyException 并为 SparkThrowable 包装 AnalysisException
- [SPARK-42949] [SC-127255][SQL] 简化 NAAJ 的代码
- [SPARK-43011] [SC-127577][SQL]
array_insert应该失败，且索引为 0 - [SPARK-42974] [SC-127487][CORE] 还原
Utils.createTempDir以使用ShutdownHookManager并清理JavaUtils.createTempDir方法。 - [SPARK-42964] [SC-127585][SQL] PosgresDialect“42P07”也表示表已存在
- [SPARK-42978] [SC-127351][SQL] Derby 和 PG：RENAME 无法使用架构名称限定新表名称
- [SPARK-37980] [SC-127668][SQL] 在测试中通过 _metadata 访问 row_index（如果可能）
- [SPARK-42655] [SC-127591][SQL] 不正确的不明确列引用错误
- [SPARK-43009] [SC-127596][SQL] 使用
Any常量参数化sql() - [SPARK-43026] [SC-127590][SQL] 使用非交换表缓存应用 AQE
- [SPARK-42963] [SC-127576][SQL] 扩展 SparkSessionExtensions，以便将规则注入到 AQE 查询阶段优化器
- [SPARK-42918] [SC-127357] 将 FileSourceStrategy 中元数据属性的处理通用化
- [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] 添加
Catalog支持 - [SPARK-42997] [SC-127535][SQL] TableOutputResolver 必须在数组和映射的错误消息中使用正确的列路径
- [SPARK-43006] [SC-127486][PYSPARK] 修复 StorageLevel eq() 中的拼写错误
- [SPARK-43005] [SC-127485][PYSPARK] 修复 pyspark/pandas/config.py 中的拼写错误
- [SPARK-43004] [SC-127457][CORE] 修复 ResourceRequest.equals() 中的拼写错误
- [SPARK-42907] [SC-126984][CONNECT][PYTHON] 实现 Avro 函数
- [SPARK-42979] [SC-127272][SQL] 将文本构造函数定义为关键字
- [SPARK-42946] [SC-127252][SQL] 编修通过变量替换而嵌套的敏感数据
- [SPARK-42952] [SC-127260][SQL] 简化分析器规则 PreprocessTableCreation 和 DataSourceAnalysis 的参数
- [SPARK-42683] [LC-75] 自动重命名发生冲突的元数据列
- [SPARK-42853] [SC-126101][FollowUp] 修复冲突
- [SPARK-42929] [SC-126748][CONNECT] 使 mapInPandas/mapInArrow 支持“is_barrier”
- [SPARK-42968] [SC-127271][SS] 添加选项以跳过作为 DSv2 源/接收器 StreamingWrite API 的一部分的提交协调器
- [SPARK-42954] [SC-127261][PYTHON][CONNECT] 将
YearMonthIntervalType添加到 PySpark 和 Spark Connect Python Client - [SPARK-41359] [SC-127256][SQL] 在 UnsafeRow 中使用
PhysicalDataType而不是 DataType - [SPARK-42873] [SC-127262][SQL] 将 Spark SQL 类型定义为关键字
- [SPARK-42808] [SC-126302][CORE] 避免每次在
MapOutputTrackerMaster#getStatistics中获取 availableProcessors - [SPARK-42937] [SC-126880][SQL]
PlanSubqueries应将InSubqueryExec#shouldBroadcast设置为 true - [SPARK-42896] [SC-126729][SQL][PYTHON] 使
mapInPandas/mapInArrow支持屏障模式执行 - [SPARK-42874] [SC-126442][SQL] 为所有输入文件的分析启用新的黄金文件测试框架
- [SPARK-42922] [SC-126850][SQL] 从 Random 移到 SecureRandom
- [SPARK-42753] [SC-126369] ReusedExchange 引用不存在的节点
- [SPARK-40822] [SC-126274][SQL] 稳定派生列别名
- [SPARK-42908] [SC-126856][PYTHON] 在 SparkContext 为必需但未初始化时引发 RuntimeError
- [SPARK-42779] [SC-126042][SQL] 允许 V2 写入来指示建议的随机分区大小
- [SPARK-42914] [SC-126727][PYTHON] 对
DistributedSequenceID重用transformUnregisteredFunction。 - [SPARK-42878] [SC-126882][CONNECT] DataFrameReader 中的表 API 也可以接受选项
- [SPARK-42927] [SC-126883][CORE] 将
o.a.spark.util.Iterators#size的访问范围更改为private[util] - [SPARK-42943] [SC-126879][SQL] 对有效长度的 StringType 使用 LONGTEXT 而不是 TEXT
- [SPARK-37677] [SC-126855][CORE] 解压缩可以保留文件权限
- [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] 实现 CoGrouped Map API
- [SPARK-41876] [SC-126849][CONNECT][PYTHON] 实现 DataFrame.toLocalIterator
- [SPARK-42930] [SC-126761][CORE][SQL] 将
ProtobufSerDe相关实现的访问范围更改为private[protobuf] - [SPARK-42819] [SC-125879][SS] 为流式处理中使用的 RocksDB 添加了对设置 max_write_buffer_number 和 write_buffer_size 的支持
- [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] 阐明参数化 SQL 参数的注释
- [SPARK-42748] [SC-126455][CONNECT] 服务器端项目管理
- [SPARK-42816] [SC-126365][CONNECT] 支持高达 128MB 的最大消息大小
- [SPARK-42850] [SC-126109][SQL] 删除优化器中的重复规则 CombineFilters
- [SPARK-42662] [SC-126355][CONNECT][PS] 为 Spark 上的 pandas API 默认索引添加 proto 消息
- [SPARK-42720] [SC-126136][PS][SQL] 将表达式用于分布式序列默认索引而不是计划
- [SPARK-42790] [SC-126174][SQL] 抽掉已排除的方法，以便更好地测试 JDBC docker 测试。
- [SPARK-42900] [SC-126473][CONNECT][PYTHON] 修复 createDataFrame 以遵循推理和列名称
- [SPARK-42917] [SC-126657][SQL] 为 DerbyDialect 更正 getUpdateColumnNullabilityQuery
- [SPARK-42684] [SC-125157][SQL] v2 目录默认不应允许列默认值
- [SPARK-42861] [SC-126635][SQL] 使用 private[sql] 而不是 protected[sql]，以避免生成 API 文档
- [SPARK-42920] [SC-126728][CONNECT][PYTHON] 为带有 UDT 的 UDF 启用测试
- [SPARK-42791] [SC-126617][SQL] 创建新的黄金文件测试框架以进行分析
- [SPARK-42911] [SC-126652][PYTHON] 引入更多基本异常
- [SPARK-42904] [SC-126634][SQL] JDBC Catalog 的 Char/Varchar 支持
- [SPARK-42901] [SC-126459][CONNECT][PYTHON] 将
StorageLevel移到单独的文件中以避免潜在的file recursively imports - [SPARK-42894] [SC-126451][CONNECT] 对 Spark connect jvm 客户端支持
cache/persist/unpersist/storageLevel - [SPARK-42792] [SC-125852][SS] 为流式处理有状态运算符中使用的 RocksDB 添加了对 WRITE_FLUSH_BYTES 的支持
- [SPARK-41233] [SC-126441][CONNECT][PYTHON] 将 array_prepend添加到 Spark Connect Python 客户端
- [SPARK-42681] [SC-125149][SQL] 放宽对 ALTER TABLE ADD |REPLACE 列描述符的排序约束
- [SPARK-42889] [SC-126367][CONNECT][PYTHON] 实现 cache、persist、unpersist 和 storageLevel
- [SPARK-42824] [SC-125985][CONNECT][PYTHON] 为不支持的 JVM 属性提供明确的错误消息
- [SPARK-42340] [SC-126131][CONNECT][PYTHON] 实现 Grouped Map API
- [SPARK-42892] [SC-126454][SQL] 将 sameType 和相关方法移出 DataType
- [SPARK-42827] [SC-126126][CONNECT] 对 Scala connect 客户端支持
functions#array_prepend - [SPARK-42823] [SC-125987][SQL]
spark-sqlshell 支持将多部分命名空间用于初始化 - [SPARK-42817] [SC-125960][CORE] 在 ApplicationMaster 中记录随机服务名称一次
- [SPARK-42786] [SC-126438][Connect] 类型化的 Select
- [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] 实现 ml 函数
{array_to_vector, vector_to_array} - [SPARK-42052] [SC-126439][SQL] 对 HiveSimpleUDF 的 Codegen 支持
- [SPARK-41233] [SC-126110][SQL][PYTHON] 添加
array_prepend函数 - [SPARK-42864] [SC-126268][ML][3.4] 将
IsotonicRegression.PointsAccumulator设为专用 - [SPARK-42876] [SC-126281][SQL] DataType 的 physicalDataType 应为 private[sql]
- [SPARK-42101] [SC-125437][SQL] 使 AQE 支持 InMemoryTableScanExec
- [SPARK-41290] [SC-124030][SQL] 对 create/replace table 语句中的列支持 GENERATED ALWAYS AS 表达式
- [SPARK-42870] [SC-126220][CONNECT] 将
toCatalystValue移到connect-common - [SPARK-42247] [SC-126107][CONNECT][PYTHON] 修复 UserDefinedFunction 以具有 returnType
- [SPARK-42875] [SC-126258][CONNECT][PYTHON] 修复 toPandas 以正确处理时区和映射类型
- [SPARK-42757] [SC-125626][CONNECT] 为 DataFrameReader 实现 textFile
- [SPARK-42803] [SC-126081][CORE][SQL][ML] 使用 getParameterCount 函数而不是 getParameterTypes.length
- [SPARK-42833] [SC-126043][SQL] 在
SparkSession中重构applyExtensions - [SPARK-41765] 还原“[SC-123550][SQL] 拉取 v1 写入指标...
- [SPARK-42848] [SC-126105][CONNECT][PYTHON] 实现 DataFrame.registerTempTable
- [SPARK-42020] [SC-126103][CONNECT][PYTHON] 在 Spark Connect 中支持 UserDefinedType
- [SPARK-42818] [SC-125861][CONNECT][PYTHON] 实现 DataFrameReader/Writer.jdbc
- [SPARK-42812] [SC-125867][CONNECT] 向 AddArtifactsRequest protobuf 消息添加 client_type
- [SPARK-42772] [SC-125860][SQL] 将有关下推的 JDBC 选项的默认值更改为 true
- [SPARK-42771] [SC-125855][SQL] 重构 HiveGenericUDF
- [SPARK-25050] [SC-123839][SQL] Avro：编写复杂联合
- [SPARK-42765] [SC-125850][CONNECT][PYTHON] 启用从
pyspark.sql.connect.functions导入pandas_udf - [SPARK-42719] [SC-125225][CORE]
MapOutputTracker#getMapLocation应遵循spark.shuffle.reduceLocality.enabled - [SPARK-42480] [SC-125173][SQL] 提高删除分区的性能
- [SPARK-42689] [SC-125195][CORE][SHUFFLE] 允许 ShuffleDriverComponent 声明是否已可靠地存储了随机数据
- [SPARK-42726] [SC-125279][CONNECT][PYTHON] 实现
DataFrame.mapInArrow - [SPARK-41765] [SC-123550][SQL] 将 v1 写入指标拉取到 WriteFiles
- [SPARK-41171] [SC-124191][SQL] 如果 partitionSpec 为空，则通过窗口推断和下推窗口限制
- [SPARK-42686] [SC-125292][CORE] 推迟 TaskMemoryManager 中调试消息的格式设置
- [SPARK-42756] [SC-125443][CONNECT][PYTHON] 帮助程序函数，用于在 Python 客户端中将 proto 文本转换为值
- [SPARK-42793] [SC-125627][CONNECT]
connect模块需要build_profile_flags - [SPARK-42701] [SC-125192][SQL] 添加
try_aes_decrypt()函数 - [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame 不适用于不可为 null 的架构
- [SPARK-42733] [SC-125542][CONNECT][Followup] 在没有路径或表的情况下写入
- [SPARK-42777] [SC-125525][SQL] 支持将 TimestampNTZ 目录统计信息转换为计划统计信息
- [SPARK-42770] [SC-125558][CONNECT] 添加
truncatedTo(ChronoUnit.MICROS)以使 Java 17 每日测试 GA 任务中的SQLImplicitsTestSuite通过 - [SPARK-42752] [SC-125550][PYSPARK][SQL] 使 PySpark 异常在初始化期间可打印
- [SPARK-42732] [SC-125544][PYSPARK][CONNECT] 支持 Spark Connect 会话 getActiveSession 方法
- [SPARK-42755] [SC-125442][CONNECT] 将文本值转换析出到
connect-common - [SPARK-42747] [SC-125399][ML] 修复了 LoR 和 AFT 的不正确内部状态
- [SPARK-42740] [SC-125439][SQL] 修复了下推偏移或分页对某些内置方言无效的 bug
- [SPARK-42745] [SC-125332][SQL] 改进的 AliasAwareOutputExpression 适用于 DSv2
- [SPARK-42743] [SC-125330][SQL] 支持分析 TimestampNTZ 列
- [SPARK-42721] [SC-125371][CONNECT] RPC 日志记录侦听器
- [SPARK-42691] [SC-125397][CONNECT][PYTHON] 实现 Dataset.semanticHash
- [SPARK-42688] [SC-124922][CONNECT] 将 Connect proto 请求 client_id 重命名为 session_id
- [SPARK-42310] [SC-122792][SQL] 将名称分配给 _LEGACY_ERROR_TEMP_1289
- [SPARK-42685] [SC-125339][CORE] 优化 Utils.bytesToString 例程
- [SPARK-42725] [SC-125296][CONNECT][PYTHON] 使 LiteralExpression 支持数组参数
- [SPARK-42702] [SC-125293][SPARK-42623][SQL] 在子查询和 CTE 中支持参数化查询
- [SPARK-42697] [SC-125189][WEBUI] 修复 /api/v1/applications，以便为持续时间字段返回总运行时间而不是 0
- [SPARK-42733] [SC-125278][CONNECT][PYTHON] 修复 DataFrameWriter.save 以在没有路径参数的情况下工作
- [SPARK-42376] [SC-124928][SS] 在运算符之间引入水印传播
- [SPARK-42710] [SC-125205][CONNECT][PYTHON] 将 FrameMap proto 重命名为 MapPartitions
- [SPARK-37099] [SC-123542][SQL] 为基于排名的筛选器引入窗口的组限制，以优化 top-k 计算
- [SPARK-42630] [SC-125207][CONNECT][PYTHON] 引入 UnparsedDataType 并延迟分析 DDL 字符串，直到 SparkConnectClient 可用
- [SPARK-42690] [SC-125193][CONNECT] 为 Scala 客户端实现 CSV/JSON 分析函数
- [SPARK-42709] [SC-125172][PYTHON] 删除“
__file__可用”的假设 - [SPARK-42318] [SC-122648][SPARK-42319][SQL] 将名称分配给 LEGACY_ERROR_TEMP(2123|2125)
- [SPARK-42723] [SC-125183][SQL] 支持分析器数据类型 json “timestamp_ltz”作为 TimestampType
- [SPARK-42722] [SC-125175][CONNECT][PYTHON] Python Connect def schema() 不应缓存架构
- [SPARK-42643] [SC-125152][CONNECT][PYTHON] 注册 Java（聚合）用户定义的函数
- [SPARK-42656] [SC-125177][CONNECT][Followup] 修复 spark-connect 脚本
- [SPARK-41516] [SC-123899] [SQL] 允许 jdbc 方言替代用于创建表的查询
- [SPARK-41725] [SC-124396][CONNECT] DF.sql() 的预先执行
- [SPARK-42687] [SC-124896][SS] 为流式处理中不支持的
pivot操作改进错误消息 - [SPARK-42676] [SC-124809][SS] 将流式处理查询的临时检查点写入本地文件系统，即使默认 FS 设置不同，也是如此
- [SPARK-42303] [SC-122644][SQL] 将名称分配给 _LEGACY_ERROR_TEMP_1326
- [SPARK-42553] [SC-124560][SQL] 确保在“interval”之后至少一个时间单位
- [SPARK-42649] [SC-124576][CORE] 从第三方源文件顶部删除标准 Apache 许可证头
- [SPARK-42611] [SC-124395][SQL] 在解析过程中插入内部字段的 char/varchar 长度检查
- [SPARK-42419] [SC-124019][CONNECT][PYTHON] 迁移到 Spark Connect 列 API 的错误框架中。
- [SPARK-42637] [SC-124522][CONNECT] 添加 SparkSession.stop()
- [SPARK-42647] [SC-124647][PYTHON] 更改 numpy 已弃用和已删除类型的别名
- [SPARK-42616] [SC-124389][SQL] SparkSQLCLIDriver 应仅关闭已启动的 hive sessionState
- [SPARK-42593] [SC-124405][PS] 弃用并移除在 pandas 2.0 中将被移除的 API。
- [SPARK-41870] [SC-124402][CONNECT][PYTHON] 修复 createDataFrame 以处理重复列名
- [SPARK-42569] [SC-124379][CONNECT] 为不支持的会话 API 引发异常
- [SPARK-42631] [SC-124526][CONNECT] 支持 Scala 客户端中的自定义扩展
- [SPARK-41868] [SC-124387][CONNECT][PYTHON] 修复 createDataFrame 以支持持续时间
- [SPARK-42572] [SC-124171][SQL][SS] 修复 StateStoreProvider.validateStateRowFormat 的行为
维护更新
请参阅 Databricks Runtime 13.1 维护更新。
系统环境
- 操作系统：Ubuntu 22.04.2 LTS
- Java：Zulu 8.70.0.23-CA-linux64
- Scala：2.12.15
- Python：3.10.12
- R：4.2.2
- Delta Lake：2.4.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| appdirs | 1.4.4 | argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 |
| asttokens | 2.2.1 | attrs | 21.4.0 | backcall | 0.2.0 |
| beautifulsoup4 | 4.11.1 | black | 22.6.0 | bleach | 4.1.0 |
| blinker | 1.4 | boto3 | 1.24.28 | botocore | 1.27.28 |
| certifi | 2022.9.14 | cffi | 1.15.1 | chardet | 4.0.0 |
| charset-normalizer | 2.0.4 | 单击 | 8.0.4 | 密码系统 | 37.0.1 |
| cycler | 0.11.0 | Cython | 0.29.32 | dbu-python | 1.2.18 |
| debugpy | 1.5.1 | decorator | 5.1.1 | defusedxml | 0.7.1 |
| distlib | 0.3.6 | docstring-to-markdown | 0.12 | entrypoints | 0.4 |
| 执行 | 1.2.0 | facets-overview | 1.0.3 | fastjsonschema | 2.16.3 |
| filelock | 3.12.0 | fonttools | 4.25.0 | googleapis-common-protos | 1.56.4 |
| grpcio | 1.48.1 | grpcio-status | 1.48.1 | httplib2 | 0.20.2 |
| idna | 3.3 | importlib-metadata | 4.6.4 | ipykernel | 6.17.1 |
| ipython | 8.10.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| jedi | 0.18.1 | jeepney | 0.7.1 | Jinja2 | 2.11.3 |
| jmespath | 0.10.0 | joblib | 1.2.0 | jsonschema | 4.16.0 |
| jupyter-client | 7.3.4 | jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | keyring | 23.5.0 | kiwisolver | 1.4.2 |
| launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 |
| MarkupSafe | 2.0.1 | matplotlib | 3.5.2 | matplotlib-inline | 0.1.6 |
| mccabe | 0.7.0 | mistune | 0.8.4 | more-itertools | 8.10.0 |
| mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
| nbformat | 5.5.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
| 笔记本 | 6.4.12 | numpy | 1.21.5 | oauthlib | 3.2.0 |
| 打包 | 21.3 | pandas | 1.4.4 | pandocfilters | 1.5.0 |
| parso | 0.8.3 | pathspec | 0.9.0 | patsy | 0.5.2 |
| pexpect | 4.8.0 | pickleshare | 0.7.5 | Pillow | 9.2.0 |
| pip | 22.2.2 | platformdirs | 2.5.2 | plotly | 5.9.0 |
| pluggy | 1.0.0 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| protobuf | 3.19.4 | psutil | 5.9.0 | psycopg2 | 2.9.3 |
| ptyprocess | 0.7.0 | pure-eval | 0.2.2 | pyarrow | 8.0.0 |
| pycparser | 2.21 | pydantic | 1.10.6 | pyflakes | 3.0.1 |
| Pygments | 2.11.2 | PyGObject | 3.42.1 | PyJWT | 2.3.0 |
| pyodbc | 4.0.32 | pyparsing | 3.0.9 | pyright | 1.1.294 |
| pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
| python-lsp-server | 1.7.1 | pytoolconfig | 1.2.2 | pytz | 2022.1 |
| pyzmq | 23.2.0 | 请求 | 2.28.1 | rope | 1.7.0 |
| s3transfer | 0.6.0 | scikit-learn | 1.1.1 | scipy | 1.9.1 |
| seaborn | 0.11.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| setuptools | 63.4.1 | 6 | 1.16.0 | soupsieve | 2.3.1 |
| ssh-import-id | 5.11 | stack-data | 0.6.2 | statsmodels | 0.13.2 |
| tenacity | 8.1.0 | terminado | 0.13.1 | testpath | 0.6.0 |
| threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
| tornado | 6.1 | traitlets | 5.1.1 | typing_extensions | 4.3.0 |
| ujson | 5.4.0 | unattended-upgrades | 0.1 | urllib3 | 1.26.11 |
| virtualenv | 20.16.3 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
| webencodings | 0.5.1 | whatthepatch | 1.0.2 | wheel | 0.37.1 |
| widgetsnbextension | 3.6.1 | yapf | 0.31.0 | zipp | 1.0.0 |
已安装的 R 库
R 库安装自 2023-02-10 版本中的 Microsoft CRAN 快照。
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| 箭头 | 10.0.1 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.4.1 | base | 4.2.2 | base64enc | 0.1-3 |
| bit | 4.0.5 | bit64 | 4.0.5 | blob | 1.2.3 |
| 启动 | 1.3-28 | brew | 1.0-8 | brio | 1.1.3 |
| broom | 1.0.3 | bslib | 0.4.2 | cachem | 1.0.6 |
| callr | 3.7.3 | caret | 6.0-93 | cellranger | 1.1.0 |
| chron | 2.3-59 | class | 7.3-21 | cli | 3.6.0 |
| clipr | 0.8.0 | clock | 0.6.1 | cluster | 2.1.4 |
| codetools | 0.2-19 | colorspace | 2.1-0 | commonmark | 1.8.1 |
| compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
| crayon | 1.5.2 | 凭据 | 1.3.2 | curl | 5.0.0 |
| data.table | 1.14.6 | datasets | 4.2.2 | DBI | 1.1.3 |
| dbplyr | 2.3.0 | desc | 1.4.2 | devtools | 2.4.5 |
| diffobj | 0.3.5 | digest | 0.6.31 | downlit | 0.4.2 |
| dplyr | 1.1.0 | dtplyr | 1.2.2 | e1071 | 1.7-13 |
| ellipsis | 0.3.2 | 评估 | 0.20 | fansi | 1.0.4 |
| farver | 2.1.1 | fastmap | 1.1.0 | fontawesome | 0.5.0 |
| forcats | 1.0.0 | foreach | 1.5.2 | foreign | 0.8-82 |
| forge | 0.2.0 | fs | 1.6.1 | future | 1.31.0 |
| future.apply | 1.10.0 | gargle | 1.3.0 | generics | 0.1.3 |
| gert | 1.9.2 | ggplot2 | 3.4.0 | gh | 1.3.1 |
| gitcreds | 0.1.2 | glmnet | 4.1-6 | globals | 0.16.2 |
| glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
| gower | 1.0.1 | graphics | 4.2.2 | grDevices | 4.2.2 |
| grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.1 | hardhat | 1.2.0 | haven | 2.5.1 |
| highr | 0.10 | hms | 1.1.2 | htmltools | 0.5.4 |
| htmlwidgets | 1.6.1 | httpuv | 1.6.8 | httr | 1.4.4 |
| ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
| isoband | 0.2.7 | iterators | 1.0.14 | jquerylib | 0.1.4 |
| jsonlite | 1.8.4 | KernSmooth | 2.23-20 | knitr | 1.42 |
| labeling | 0.4.2 | later | 1.3.0 | lattice | 0.20-45 |
| lava | 1.7.1 | lifecycle | 1.0.3 | listenv | 0.9.0 |
| lubridate | 1.9.1 | magrittr | 2.0.3 | markdown | 1.5 |
| MASS | 7.3-58.2 | Matrix | 1.5-1 | memoise | 2.0.1 |
| 方法 | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
| miniUI | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.10 |
| munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
| numDeriv | 2016.8-1.1 | openssl | 2.0.5 | parallel | 4.2.2 |
| parallelly | 1.34.0 | pillar | 1.8.1 | pkgbuild | 1.4.0 |
| pkgconfig | 2.0.3 | pkgdown | 2.0.7 | pkgload | 1.3.2 |
| plogr | 0.2.0 | plyr | 1.8.8 | praise | 1.0.0 |
| prettyunits | 1.1.1 | pROC | 1.18.0 | processx | 3.8.0 |
| prodlim | 2019.11.13 | profvis | 0.3.7 | 进度 | 1.2.2 |
| progressr | 0.13.0 | promises | 1.2.0.1 | proto | 1.0.0 |
| proxy | 0.4-27 | ps | 1.7.2 | purrr | 1.0.1 |
| r2d3 | 0.2.6 | R6 | 2.5.1 | ragg | 1.2.5 |
| randomForest | 4.7-1.1 | rappdirs | 0.3.3 | rcmdcheck | 1.4.0 |
| RColorBrewer | 1.1-3 | Rcpp | 1.0.10 | RcppEigen | 0.3.3.9.3 |
| readr | 2.1.3 | readxl | 1.4.2 | recipes | 1.0.4 |
| rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.4.2 |
| reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
| rmarkdown | 2.20 | RODBC | 1.3-20 | roxygen2 | 7.2.3 |
| rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
| RSQLite | 2.2.20 | rstudioapi | 0.14 | rversions | 2.1.2 |
| rvest | 1.0.3 | sass | 0.4.5 | scales | 1.2.1 |
| selectr | 0.4-2 | sessioninfo | 1.2.2 | shape | 1.4.6 |
| shiny | 1.7.4 | sourcetools | 0.1.7-1 | sparklyr | 1.7.9 |
| SparkR | 3.4.0 | spatial | 7.3-15 | splines | 4.2.2 |
| sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
| stats4 | 4.2.2 | stringi | 1.7.12 | stringr | 1.5.0 |
| survival | 3.5-3 | sys | 3.4.1 | systemfonts | 1.0.4 |
| tcltk | 4.2.2 | testthat | 3.1.6 | textshaping | 0.3.6 |
| tibble | 3.1.8 | tidyr | 1.3.0 | tidyselect | 1.2.0 |
| tidyverse | 1.3.2 | timechange | 0.2.0 | timeDate | 4022.108 |
| tinytex | 0.44 | 工具 | 4.2.2 | tzdb | 0.3.0 |
| urlchecker | 1.0.1 | usethis | 2.1.6 | utf8 | 1.2.3 |
| utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.2 |
| viridisLite | 0.4.1 | vroom | 1.6.1 | waldo | 0.4.0 |
| whisker | 0.4.1 | withr | 2.5.0 | xfun | 0.37 |
| xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
| yaml | 2.3.7 | zip | 2.2.2 |
已安装的 Java 库和 Scala 库（Scala 2.12 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.12.0 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.12.390 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.390 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.390 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.12.390 |
| com.amazonaws | aws-java-sdk-config | 1.12.390 |
| com.amazonaws | aws-java-sdk-core | 1.12.390 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.12.390 |
| com.amazonaws | aws-java-sdk-directconnect | 1.12.390 |
| com.amazonaws | aws-java-sdk-directory | 1.12.390 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.12.390 |
| com.amazonaws | aws-java-sdk-ec2 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ecs | 1.12.390 |
| com.amazonaws | aws-java-sdk-efs | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticache | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.390 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.390 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.390 |
| com.amazonaws | aws-java-sdk-emr | 1.12.390 |
| com.amazonaws | aws-java-sdk-glacier | 1.12.390 |
| com.amazonaws | aws-java-sdk-glue | 1.12.390 |
| com.amazonaws | aws-java-sdk-iam | 1.12.390 |
| com.amazonaws | aws-java-sdk-importexport | 1.12.390 |
| com.amazonaws | aws-java-sdk-kinesis | 1.12.390 |
| com.amazonaws | aws-java-sdk-kms | 1.12.390 |
| com.amazonaws | aws-java-sdk-lambda | 1.12.390 |
| com.amazonaws | aws-java-sdk-logs | 1.12.390 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.12.390 |
| com.amazonaws | aws-java-sdk-opsworks | 1.12.390 |
| com.amazonaws | aws-java-sdk-rds | 1.12.390 |
| com.amazonaws | aws-java-sdk-redshift | 1.12.390 |
| com.amazonaws | aws-java-sdk-route53 | 1.12.390 |
| com.amazonaws | aws-java-sdk-s3 | 1.12.390 |
| com.amazonaws | aws-java-sdk-ses | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpledb | 1.12.390 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.390 |
| com.amazonaws | aws-java-sdk-sns | 1.12.390 |
| com.amazonaws | aws-java-sdk-sqs | 1.12.390 |
| com.amazonaws | aws-java-sdk-ssm | 1.12.390 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.12.390 |
| com.amazonaws | aws-java-sdk-sts | 1.12.390 |
| com.amazonaws | aws-java-sdk-support | 1.12.390 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.12.390 |
| com.amazonaws | jmespath-java | 1.12.390 |
| com.clearspring.analytics | 流 (stream) | 2.9.6 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
| com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.3.4 |
| com.fasterxml.jackson.core | jackson-annotations | 2.14.2 |
| com.fasterxml.jackson.core | jackson-core | 2.14.2 |
| com.fasterxml.jackson.core | jackson-databind | 2.14.2 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.14.2 |
| com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.14.2 |
| com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.14.2 |
| com.github.ben-manes.caffeine | caffeine | 2.9.3 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java | 1.1-natives |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1-natives |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
| com.github.luben | zstd-jni | 1.5.2-5 |
| com.github.wendykierp | JTransforms | 3.1 |
| com.google.code.findbugs | jsr305 | 3.0.0 |
| com.google.code.gson | gson | 2.8.9 |
| com.google.crypto.tink | tink | 1.7.0 |
| com.google.errorprone | error_prone_annotations | 2.10.0 |
| com.google.flatbuffers | flatbuffers-java | 1.12.0 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.h2database | h2 | 2.1.214 |
| com.helger | profiler | 1.1.1 |
| com.jcraft | jsch | 0.1.55 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.lihaoyi | sourcecode_2.12 | 0.1.9 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
| com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
| com.ning | compress-lzf | 1.1.2 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.sun.xml.bind | jaxb-core | 2.2.11 |
| com.sun.xml.bind | jaxb-impl | 2.2.11 |
| com.tdunning | json | 1.8 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
| com.twitter | chill-java | 0.10.0 |
| com.twitter | chill_2.12 | 0.10.0 |
| com.twitter | util-app_2.12 | 7.1.0 |
| com.twitter | util-core_2.12 | 7.1.0 |
| com.twitter | util-function_2.12 | 7.1.0 |
| com.twitter | util-jvm_2.12 | 7.1.0 |
| com.twitter | util-lint_2.12 | 7.1.0 |
| com.twitter | util-registry_2.12 | 7.1.0 |
| com.twitter | util-stats_2.12 | 7.1.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
| com.uber | h3 | 3.7.0 |
| com.univocity | univocity-parsers | 2.9.1 |
| com.zaxxer | HikariCP | 4.0.3 |
| commons-cli | commons-cli | 1.5.0 |
| commons-codec | commons-codec | 1.15 |
| commons-collections | commons-collections | 3.2.2 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-fileupload | commons-fileupload | 1.5 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.11.0 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-pool | commons-pool | 1.5.4 |
| dev.ludovic.netlib | arpack | 3.0.3 |
| dev.ludovic.netlib | blas | 3.0.3 |
| dev.ludovic.netlib | lapack | 3.0.3 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
| io.airlift | aircompressor | 0.21 |
| io.delta | delta-sharing-spark_2.12 | 0.6.4 |
| io.dropwizard.metrics | metrics-core | 4.2.10 |
| io.dropwizard.metrics | metrics-graphite | 4.2.10 |
| io.dropwizard.metrics | metrics-healthchecks | 4.2.10 |
| io.dropwizard.metrics | metrics-jetty9 | 4.2.10 |
| io.dropwizard.metrics | metrics-jmx | 4.2.10 |
| io.dropwizard.metrics | metrics-json | 4.2.10 |
| io.dropwizard.metrics | metrics-jvm | 4.2.10 |
| io.dropwizard.metrics | metrics-servlets | 4.2.10 |
| io.netty | netty-all | 4.1.87.Final |
| io.netty | netty-buffer | 4.1.87.Final |
| io.netty | netty-codec | 4.1.87.Final |
| io.netty | netty-codec-http | 4.1.87.Final |
| io.netty | netty-codec-http2 | 4.1.87.Final |
| io.netty | netty-codec-socks | 4.1.87.Final |
| io.netty | netty-common | 4.1.87.Final |
| io.netty | netty-handler | 4.1.87.Final |
| io.netty | netty-handler-proxy | 4.1.87.Final |
| io.netty | netty-resolver | 4.1.87.Final |
| io.netty | netty-transport | 4.1.87.Final |
| io.netty | netty-transport-classes-epoll | 4.1.87.Final |
| io.netty | netty-transport-classes-kqueue | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-aarch_64 |
| io.netty | netty-transport-native-epoll | 4.1.87.Final-linux-x86_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-aarch_64 |
| io.netty | netty-transport-native-kqueue | 4.1.87.Final-osx-x86_64 |
| io.netty | netty-transport-native-unix-common | 4.1.87.Final |
| io.prometheus | simpleclient | 0.7.0 |
| io.prometheus | simpleclient_common | 0.7.0 |
| io.prometheus | simpleclient_dropwizard | 0.7.0 |
| io.prometheus | simpleclient_pushgateway | 0.7.0 |
| io.prometheus | simpleclient_servlet | 0.7.0 |
| io.prometheus.jmx | 收集器 | 0.12.0 |
| jakarta.annotation | jakarta.annotation-api | 1.3.5 |
| jakarta.servlet | jakarta.servlet-api | 4.0.3 |
| jakarta.validation | jakarta.validation-api | 2.0.2 |
| jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
| javax.activation | activation | 1.1.1 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.transaction | jta | 1.1 |
| javax.transaction | transaction-api | 1.1 |
| javax.xml.bind | jaxb-api | 2.2.11 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.12.1 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | v0.20.0-db2 |
| net.java.dev.jna | jna | 5.8.0 |
| net.razorvine | pickle | 1.3 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.6 |
| net.snowflake | snowflake-jdbc | 3.13.22 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.5.2 |
| org.antlr | antlr4-runtime | 4.9.3 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.16 |
| org.apache.ant | ant-jsch | 1.9.16 |
| org.apache.ant | ant-launcher | 1.9.16 |
| org.apache.arrow | arrow-format | 11.0.0 |
| org.apache.arrow | arrow-memory-core | 11.0.0 |
| org.apache.arrow | arrow-memory-netty | 11.0.0 |
| org.apache.arrow | arrow-vector | 11.0.0 |
| org.apache.avro | avro | 1.11.1 |
| org.apache.avro | avro-ipc | 1.11.1 |
| org.apache.avro | avro-mapred | 1.11.1 |
| org.apache.commons | commons-collections4 | 4.4 |
| org.apache.commons | commons-compress | 1.21 |
| org.apache.commons | commons-crypto | 1.1.0 |
| org.apache.commons | commons-lang3 | 3.12.0 |
| org.apache.commons | commons-math3 | 3.6.1 |
| org.apache.commons | commons-text | 1.10.0 |
| org.apache.curator | curator-client | 2.13.0 |
| org.apache.curator | curator-framework | 2.13.0 |
| org.apache.curator | curator-recipes | 2.13.0 |
| org.apache.datasketches | datasketches-java | 3.1.0 |
| org.apache.datasketches | datasketches-memory | 2.0.0 |
| org.apache.derby | derby | 10.14.2.0 |
| org.apache.hadoop | hadoop-client-runtime | 3.3.4 |
| org.apache.hive | hive-beeline | 2.3.9 |
| org.apache.hive | hive-cli | 2.3.9 |
| org.apache.hive | hive-jdbc | 2.3.9 |
| org.apache.hive | hive-llap-client | 2.3.9 |
| org.apache.hive | hive-llap-common | 2.3.9 |
| org.apache.hive | hive-serde | 2.3.9 |
| org.apache.hive | hive-shims | 2.3.9 |
| org.apache.hive | hive-storage-api | 2.8.1 |
| org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
| org.apache.hive.shims | hive-shims-common | 2.3.9 |
| org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
| org.apache.httpcomponents | httpclient | 4.5.14 |
| org.apache.httpcomponents | httpcore | 4.4.16 |
| org.apache.ivy | ivy | 2.5.1 |
| org.apache.logging.log4j | log4j-1.2-api | 2.19.0 |
| org.apache.logging.log4j | log4j-api | 2.19.0 |
| org.apache.logging.log4j | log4j-core | 2.19.0 |
| org.apache.logging.log4j | log4j-slf4j2-impl | 2.19.0 |
| org.apache.mesos | mesos | 1.11.0-shaded-protobuf |
| org.apache.orc | orc-core | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-mapreduce | 1.8.3-shaded-protobuf |
| org.apache.orc | orc-shims | 1.8.3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.12.0 |
| org.apache.xbean | xbean-asm9-shaded | 4.22 |
| org.apache.yetus | audience-annotations | 0.13.0 |
| org.apache.zookeeper | zookeeper | 3.6.3 |
| org.apache.zookeeper | zookeeper-jute | 3.6.3 |
| org.checkerframework | checker-qual | 3.19.0 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.16 |
| org.codehaus.janino | janino | 3.0.16 |
| org.datanucleus | datanucleus-api-jdo | 4.2.4 |
| org.datanucleus | datanucleus-core | 4.1.17 |
| org.datanucleus | datanucleus-rdbms | 4.1.19 |
| org.datanucleus | javax.jdo | 3.2.0-m3 |
| org.eclipse.jetty | jetty-client | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-continuation | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-http | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-io | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-jndi | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-plus | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-proxy | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-security | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-server | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlet | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-servlets | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-util-ajax | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-webapp | 9.4.50.v20221201 |
| org.eclipse.jetty | jetty-xml | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-api | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-client | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-common | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-server | 9.4.50.v20221201 |
| org.eclipse.jetty.websocket | websocket-servlet | 9.4.50.v20221201 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.6.1 |
| org.glassfish.hk2 | hk2-locator | 2.6.1 |
| org.glassfish.hk2 | hk2-utils | 2.6.1 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
| org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.36 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.36 |
| org.glassfish.jersey.core | jersey-client | 2.36 |
| org.glassfish.jersey.core | jersey-common | 2.36 |
| org.glassfish.jersey.core | jersey-server | 2.36 |
| org.glassfish.jersey.inject | jersey-hk2 | 2.36 |
| org.hibernate.validator | hibernate-validator | 6.1.7.Final |
| org.javassist | javassist | 3.25.0-GA |
| org.jboss.logging | jboss-logging | 3.3.2.Final |
| org.jdbi | jdbi | 2.63.1 |
| org.jetbrains | annotations | 17.0.0 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
| org.json4s | json4s-core_2.12 | 3.7.0-M11 |
| org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
| org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
| org.lz4 | lz4-java | 1.8.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
| org.mlflow | mlflow-spark | 2.2.0 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.3.8 |
| org.roaringbitmap | RoaringBitmap | 0.9.39 |
| org.roaringbitmap | shims | 0.9.39 |
| org.rocksdb | rocksdbjni | 7.8.3 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.12 | 2.12.15 |
| org.scala-lang | scala-library_2.12 | 2.12.15 |
| org.scala-lang | scala-reflect_2.12 | 2.12.15 |
| org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
| org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
| org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.12 | 1.14.2 |
| org.scalactic | scalactic_2.12 | 3.2.15 |
| org.scalanlp | breeze-macros_2.12 | 2.1.0 |
| org.scalanlp | breeze_2.12 | 2.1.0 |
| org.scalatest | scalatest-compatible | 3.2.15 |
| org.scalatest | scalatest-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-diagrams_2.12 | 3.2.15 |
| org.scalatest | scalatest-featurespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-flatspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-freespec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-funsuite_2.12 | 3.2.15 |
| org.scalatest | scalatest-matchers-core_2.12 | 3.2.15 |
| org.scalatest | scalatest-mustmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-propspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-refspec_2.12 | 3.2.15 |
| org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.15 |
| org.scalatest | scalatest-wordspec_2.12 | 3.2.15 |
| org.scalatest | scalatest_2.12 | 3.2.15 |
| org.slf4j | jcl-over-slf4j | 2.0.6 |
| org.slf4j | jul-to-slf4j | 2.0.6 |
| org.slf4j | slf4j-api | 2.0.6 |
| org.threeten | threeten-extra | 1.7.1 |
| org.tukaani | xz | 1.9 |
| org.typelevel | algebra_2.12 | 2.0.1 |
| org.typelevel | cats-kernel_2.12 | 2.1.1 |
| org.typelevel | spire-macros_2.12 | 0.17.0 |
| org.typelevel | spire-platform_2.12 | 0.17.0 |
| org.typelevel | spire-util_2.12 | 0.17.0 |
| org.typelevel | spire_2.12 | 0.17.0 |
| org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
| org.xerial | sqlite-jdbc | 3.42.0.0 |
| org.xerial.snappy | snappy-java | 1.1.8.4 |
| org.yaml | snakeyaml | 1.33 |
| oro | oro | 2.0.8 |
| pl.edu.icm | JLargeArrays | 1.5 |
| software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |