Databricks Runtime 10.4 LTS

以下发行说明提供了由 Apache Spark 3.2.1 提供支持的 Databricks Runtime 10.4 LTS 和 Databricks Runtime 10.4 LTS Photon 的相关信息。 Photon 处于公共预览版。 Databricks 于 2022 年 3 月发布了此版本。

注意

LTS 表示此版本受长期支持。 请参阅 Databricks Runtime LTS 版本生命周期

提示

若要查看已终止支持 (EoS) 的 Databricks Runtime 版本的发行说明,请参阅终止支持 Databricks Runtime 发行说明。 EoS Databricks Runtime 版本已停用,可能不会更新。

新增功能和改进

Iceberg 表到 Delta 表转换器(公共预览版)

“转换为 Delta”现在支持将 Iceberg 表转换为 Delta 表。 通过使用 Iceberg 本机元数据和文件清单执行此操作。 请参阅转换为 Delta Lake

现在默认会启用自动压缩回滚

此版本改进了当存在并发自动压缩事务时提交的 Delta Lake 写入操作的行为。 在此版本之前,由于对表的并发修改,此类写入操作经常会退出。 现在,即使存在并发自动压缩事务,写入操作也会成功。

现在默认会启用 Low Shuffle Merge

现在,MERGE INTO 命令始终使用新的 low-shuffle 实现。 对于大多数工作负载,此行为会显著提高 MERGE INTO 命令的性能。 过去用于启用此功能的配置设置现已删除。 请参阅 Azure Databricks 上的低随机合并

现在会为 UPDATEDELETE 保留插入顺序标记

UPDATEDELETE 命令现在会保留已更新或删除的文件的现有群集信息(包括 Z 顺序)。 此行为是一种尽力而为的方法,对于文件太小以致于这些文件在更新或删除期间合并的情况,这种方法并不适用。

HikariCP 现在是默认的 Hive 元存储连接池

与以前的 BoneCP 连接池实现相比,HikariCP 极大地提高了 Hive 元存储访问的稳定性,同时减少了需要维护的连接。 使用 Databricks Hive 元存储的任何 Databricks Runtime 群集上默认会启用 HikariCP(例如,未设置 spark.sql.hive.metastore.jars 时)。 还可以通过设置 spark.databricks.hive.metastore.client.pool.type 显式切换到其他连接池实现,例如 BoneCP。

Azure Synapse 连接器现在支持设置允许的拒绝行数上限

Azure Synapse 连接器现在支持 maxErrors 数据帧选项。 此更新使你能够配置在取消加载操作之前,读取和写入过程中允许的最大拒绝行数。 所有拒绝的行都将被忽略。 例如,如果 10 条记录中有 2 条出错,则只处理 8 条记录。

此选项直接映射到 PolyBase中 CREATE EXTERNAL TABLE 语句的 REJECT_VALUE 选项,以及 Azure Synapse 连接器的 COPY 命令的 MAXERRORS 选项。

默认情况下,maxErrors 值设置为 0:所有记录都应有效。

异步状态检查点现已正式发布

可以在具有较大状态更新的有状态流式处理查询中启用异步状态检查点。 这可以减少端到端的微批处理延迟。 此功能现已正式发布。 有关用于有状态查询的异步状态检查点

现在可以为 SQL 用户定义的函数指定参数默认值

创建 SQL 用户定义函数 (SQL UDF) 时,现在可以为 SQL UDF 的参数指定默认表达式。 然后,无需为这些形参提供实参即可调用 SQL UDF,Databricks 将填写这些形参的默认值。 请参阅 CREATE FUNCTION (SQL 和 Python)

新的 Spark SQL 函数

以下 Spark SQL 函数现已在此版本中提供:

  • try_multiply:返回 multiplier 乘以 multiplicand,或针对溢出返回 NULL
  • try_subtract:返回 expr1 减去 expr2 的差值,或针对溢出返回 NULL

高并发群集的新工作目录

在启用了表访问控制或凭据直通的高并发群集上,笔记本的当前工作目录现在是用户的主目录。 以前,工作目录是 /databricks/driver

Delta 表中的标识列支持现已发布

Delta Lake 现在支持标识列。 当你写入定义标识列的 Delta 表,并且你不提供该列的值时,Delta 现在会自动分配唯一且以统计方式增加或减少的值。 请参阅 CREATE TABLE [USING]

库升级

  • 升级了 Python 库:
    • filelock 已从 3.4.2 升级到 3.6.0
  • 升级了 R 库:
    • brew 已从 1.0-6 升级到 1.0-7
    • broom 已从 0.7.11 升级到 0.7.12
    • cli 已从 3.1.0 升级到 3.2.0
    • clipr 已从 0.7.1 升级到 0.8.0
    • colorspace 已从 2.0-2 升级到 2.0-3
    • crayon 已从 1.4.2 升级到 1.5.0
    • dplyr 已从 1.0.7 升级到 1.0.8
    • dtplyr 已从 1.2.0 升级到 1.2.1
    • evaluate 已从 0.14 升级到 0.15
    • foreach 已从 1.5.1 升级到 1.5.2
    • future 已从 1.23.0 升级到 1.24.0
    • generics 已从 0.1.1 升级到 0.1.2
    • glue 已从 1.6.0 升级到 1.6.1
    • gower 已从 0.2.2 升级到 1.0.0
    • iterators 已从 1.0.13 升级到 1.0.14
    • jsonlite 已从 1.7.3 升级到 1.8.0
    • magrittr 已从 2.0.1 升级到 2.0.2
    • mgcv 已从 1.8-38 升级到 1.8-39
    • pillar 已从 1.6.4 升级到 1.7.0
    • randomForest 已从 4.6-14 升级到 4.7-1
    • readr 已从 2.1.1 升级到 2.1.2
    • recipes 已从 0.1.17 升级到 0.2.0
    • rlang 已从 0.4.12 升级到 1.0.1
    • rpart 已从 4.1-15 升级到 4.1.16
    • RSQLite 已从 2.2.9 升级到 2.2.10
    • sparklyr 已从 1.7.4 升级到 1.7.5
    • testthat 已从 3.1.1 升级到 3.1.2
    • tidyr 已从 1.1.4 升级到 1.2.0
    • tidyselect 已从 1.1.1 升级到 1.1.2
    • tinytex 已从 0.36 升级到 0.37
    • yaml 已从 2.2.1 升级到 2.3.5
  • 升级了 Java 库:
    • io.delta.delta-sharing-spark_2.12 已从 0.3.0 升级到 0.4.0

Apache Spark

Databricks Runtime 10.4 LTS 包括 Apache Spark 3.2.1。 此版本包括 Databricks Runtime 10.3 (EoS) 中包含的所有 Spark 修复和改进,以及对 Spark 进行的以下其他缺陷修复和改进:

  • [SPARK-38322] [SQL] 支持查询阶段以带格式的解释模式显示运行时统计信息
  • [SPARK-38162] [SQL] 在正常模式和 AQE 优化器中优化一个行计划
  • [SPARK-38229] [SQL] 运行解析器时不应使用 visitReplaceTable 检查 temp/external/ifNotExists
  • [SPARK-34183] [SS] DataSource V2:微批执行中需要分布和排序
  • [SPARK-37932] [SQL] 在应用 DeduplicateRelations 之前等待解决缺少属性的问题
  • [SPARK-37904] [SQL] 改进优化器规则中的 RebalancePartitions
  • [SPARK-38236] [SQL][3.2][3.1] 按照 create/alter table 语句中的“new Path(locationUri).isAbsolute”检查表位置是否是绝对路径
  • [SPARK-38035] [SQL] 为内置 JDBC 方言添加 docker 测试
  • [SPARK-38042] [SQL] 确保 ScalaReflection.dataTypeFor 可对别名数组类型正常运行
  • [SPARK-38273] [SQL] decodeUnsafeRows 的迭代器应关闭基础输入流
  • [SPARK-38311] [SQL] 修复 ANSI 模式下的 DynamicPartitionPruning / BucketedReadSuite/ExpressionInfoSuite
  • [SPARK-38305] [CORE] 在调用 FileUtil 方法之前显式检查 unpack() 中是否存在源
  • [SPARK-38275] [SS] 将 writeBatch 的内存使用率包含为 RocksDB 状态存储的总内存使用率
  • [SPARK-38132] [SQL] 删除 NotPropagation 规则
  • [SPARK-38286] [SQL] 并集的 maxRows 和 maxRowsPerPartition 可能溢出
  • [SPARK-38306] [SQL] 修复 ANSI 模式下的 ExplainSuite、StatisticsCollectionSuite 和 StringFunctionsSuite
  • [SPARK-38281] [SQL][Tests] 修复 ANSI 模式下的 AnalysisSuite
  • [SPARK-38307] [SQL][Tests] 修复 ANSI 模式下的 ExpressionTypeCheckingSuite 和 CollectionExpressionsSuite
  • [SPARK-38300] [SQL] 使用 ByteStreams.toByteArray 简化 catalyst.util 中的 fileToStringresourceToBytes
  • [SPARK-38304] [SQL] 如果在 ANSI 模式下索引为 null,则 Elt() 应返回 null
  • [SPARK-38271] PoissonSampler 输出的行数可能超过 MaxRows
  • [SPARK-38297] [PYTHON] 在 POS 中的 DataFrame.to_numpy 处显式强制转换返回值
  • [SPARK-38295] [SQL][Tests] 修复 ANSI 模式下的 ArithmeticExpressionSuite
  • [SPARK-38290] [SQL] 修复 ANSI 模式下的 JsonSuite 和 ParquetIOSuite
  • [SPARK-38299] [SQL] 清理已弃用的 StringBuilder.newBuilder
  • [SPARK-38060] [SQL] 在 JSON 阅读器中分析带引号的 NaN 和 Infinity 值时遵循 allowNonNumericNumbers
  • [SPARK-38276] [SQL] 在 ANSI 模式下添加已批准的 TPCDS 计划
  • [SPARK-38206] [SS] 在流与流的联接中比较联接键的数据类型时忽略可为 null 性
  • [SPARK-37290] [SQL] - 使用非确定性函数时的指数规划时间
  • [SPARK-38232] [SQL] 带格式解释不会在 AQE 中的查询阶段收集子查询
  • [SPARK-38283] [SQL] 在 ANSI 模式下测试无效的日期/时间分析
  • [SPARK-38140] [SQL] 由于时区差异,时间戳类型的说明列统计信息(最小值、最大值)与值不一致
  • [SPARK-38227] [SQL][SS] 在时间窗口/会话窗口中应用嵌套列的严格可为 null 性
  • [SPARK-38221] [SQL] 将复杂分组表达式移出聚合节点时立即迭代 groupingExpressions
  • [SPARK-38216] [SQL] 如果在创建 Hive 表时所有列都是分区列,则提前失败
  • [SPARK-38214] [SS] 当 windowDuration 是 slideDuration 的倍数时无需筛选窗口
  • [SPARK-38182] [SQL] 修复当推送的筛选器不包含任何引用时发生的 NoSuchElementException
  • [SPARK-38159] [SQL] 为隐藏的文件元数据添加新的 FileSourceMetadataAttribute
  • [SPARK-38123] [SQL] 统一使用 DataType 作为 QueryExecutionErrors#castingCauseOverflowErrortargetType
  • [SPARK-38118] [SQL] HAVING 子句中的 Func(错误数据类型) 应引发数据不匹配错误
  • [SPARK-35173] [SQL][PYTHON] 支持添加多个列
  • [SPARK-38177] [SQL] 修复优化器中错误的 transformExpressions
  • [SPARK-38228] [SQL] 在 ANSI 模式下,旧存储分配不应在出错时失败
  • [SPARK-38173] [SQL] 当 quotedRegexColumnNa… 时,无法正确识别带引号的列
  • [SPARK-38130] [SQL] 删除 array_sort 可排序条目检查
  • [SPARK-38199] [SQL] 删除 IntervalColumnAccessor 定义中指定的未使用的 dataType
  • [SPARK-38203] [SQL] 修复 ANSI 模式下的 SQLInsertTestSuite 和 SchemaPruningSuite
  • [SPARK-38163] [SQL] 在构造函数生成器时保留 SparkThrowable 的错误类
  • [SPARK-38157] [SQL] 在测试 timestampNTZ/timestamp.sql 和 SQLQueryTestSuite 中将 ANSI 显式设置为 false,以匹配预期的标准结果
  • [SPARK-38069] [SQL][SS] 改进时间窗口的计算
  • [SPARK-38164] [SQL] 新的 SQL 函数:try_subtract 和 try_multiply
  • [SPARK-38176] [SQL] ANSI 模式:允许将字符串隐式强制转换为其他简单类型
  • [SPARK-37498] [PYTHON] 最终为 test_reuse_worker_of_parallelize_range 添加
  • [SPARK-38198] [SQL][3.2] 修复 QueryExecution.debug#toFile 在 explainMode 为 CodegenMode 时使用传入的 maxFields 的问题
  • [SPARK-38131] [SQL] 仅在面向用户的异常中使用错误类
  • [SPARK-37652] [SQL] 添加测试以通过并集优化有偏差的联接
  • [SPARK-37585] [SQL] 使用 TaskCompletionListener 更新 DataSourceRDD 中的 InputMetric
  • [SPARK-38113] [SQL] 在透视执行错误中使用错误类
  • [SPARK-38178] [SS] 更正逻辑以度量 RocksDB 的内存使用率
  • [SPARK-37969] [SQL] HiveFileFormat 应检查字段名称
  • [SPARK-37652] 撤消“[SQL] 添加测试以通过并集优化有偏差的联接”
  • [SPARK-38124] [SQL][SS] 引入 StatefulOpClusteredDistribution 并应用于流与流的联接
  • [SPARK-38030] [SQL] 规范化不应去除 AttributeReference dataType 的可为 null 性
  • [SPARK-37907] [SQL] InvokeLike 支持 ConstantFolding
  • [SPARK-37891] [CORE] 添加 scalastyle 检查以禁用 scala.concurrent.ExecutionContext.Implicits.global
  • [SPARK-38150] [SQL] 更新 RelationConversions 的注释
  • [SPARK-37943] [SQL] 在分组编译错误中使用错误类
  • [SPARK-37652] [SQL] 添加测试以通过并集优化有偏差的联接
  • [SPARK-38056] [Web UI][3.2] 修复使用 LevelDB 时结构化流在历史服务器中不正常工作的问题
  • [SPARK-38144] [CORE] 删除未使用的 spark.storage.safetyFraction 配置
  • [SPARK-38120] [SQL] 修复当分区列名为大写且分区值中包含句点时 HiveExternalCatalog.listPartitions 出现的问题
  • [SPARK-38122] [Docs] 更新 DocSearch 的应用键
  • [SPARK-37479] [SQL] 迁移 DROP NAMESPACE 以默认使用 V2 命令
  • [SPARK-35703] [SQL] 放宽桶联接的约束并删除 HashClusteredDistribution
  • [SPARK-37983] [SQL] 从排序聚合中取消聚合生成时间指标
  • [SPARK-37915] [SQL] 如果并集之间存在项目,则合并并集
  • [SPARK-38105] [SQL] 在联接分析错误中使用错误类
  • [SPARK-38073] [PYTHON] 更新 atexit 函数以避免后期绑定出现问题
  • [SPARK-37941] [SQL] 在强制转换编译错误中使用错误类
  • [SPARK-37937] [SQL] 在横向联接分析错误中使用错误类
  • [SPARK-38100] [SQL] 删除 Decimal 中未使用的专用方法
  • [SPARK-37987] [SS] 修复重启查询时状态的不可靠测试 StreamingAggregationSuite.changing 架构
  • [SPARK-38003] [SQL] LookupFunctions 规则应仅从标量函数注册表中查找函数
  • [SPARK-38075] [SQL] 修复 HiveScriptTransformationExec 的进程输出迭代器中的 hasNext
  • [SPARK-37965] [SQL] 在 Orc 中读取/写入现有数据时删除检查字段名称
  • [SPARK-37922] [SQL] 如果我们可以安全地向上强制转换两个强制转换项,则合并为一个强制转换(适用于 dbr-branch-10.x)
  • [SPARK-37675] [SPARK-37793] 完成随机排列后防止覆盖推送随机排列合并的文件
  • [SPARK-38011] [SQL] 删除 ParquetFileFormat 中重复且无用的配置
  • [SPARK-37929] [SQL] 支持 dropNamespace API 的级联模式
  • [SPARK-37931] [SQL] 根据需要将列名括在引号中
  • [SPARK-37990] [SQL] 支持 RowToColumnConverter 中的 TimestampNTZ
  • [SPARK-38001] [SQL] 将与不受支持的功能相关的错误类替换为 UNSUPPORTED_FEATURE
  • [SPARK-37839] [SQL] DS V2 支持部分聚合下推 AVG
  • [SPARK-37878] [SQL] 迁移 SHOW CREATE TABLE 以默认使用 v2 命令
  • [SPARK-37731] [SQL] 在分析器中重构和清理函数查找
  • [SPARK-37979] [SQL] 在 AES 函数中切换到更泛型的错误类
  • [SPARK-37867] [SQL] 编译内置 JDBC 方言的聚合函数
  • [SPARK-38028] [SQL] 从 ArrowColumnVector 公开 Arrow 向量
  • [SPARK-30062] [SQL] 将 IMMEDIATE 语句添加到 DB2 方言截断实现
  • [SPARK-36649] [SQL] 支持 Kafka 数据源上的 Trigger.AvailableNow
  • [SPARK-38018] [SQL] 修复 ColumnVectorUtils.populate 以正确处理 CalendarIntervalType
  • [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved 应处理完 ExecutorDecommission
  • [SPARK-38019] [CORE] 使 ExecutorMonitor.timedOutExecutors 具有确定性
  • [SPARK-37957] [SQL] 正确传递 V2 标量函数的确定性标志
  • [SPARK-37985] [SQL] 修复 SPARK-37578 的不可靠测试
  • [SPARK-37986] [SQL] 在基数排序中支持 TimestampNTZ
  • [SPARK-37967] [SQL] Literal.create 支持 ObjectType
  • [SPARK-37827] [SQL] 将一些内置表属性放入 V1Table.propertie 以适应 V2 命令
  • [SPARK-37963] [SQL] 在重命名 InMemoryCatalog 中的表后需要更新分区 URI
  • [SPARK-35442] [SQL] 支持通过聚合/并集传播空关系
  • [SPARK-37933] [SQL] 更改 V2ScanRelationPushDown 下推规则的遍历方法
  • [SPARK-37917] [SQL] 如果联接条件为空,则对左侧半/反联接的右侧实施下推限制 1
  • [SPARK-37959] [ML] 修复 KMeans 和 BiKMeans 中检查规范的 UT
  • [SPARK-37906] [SQL] spark- sql 不应将最后一条注释传递给后端
  • [SPARK-37627] [SQL] 在 BucketTransform 中添加排序列

维护更新

请参阅 Databricks Runtime 10.4 LTS 维护更新

系统环境

  • 操作系统:Ubuntu 20.04.4 LTS
  • Java:Zulu 8.56.0.21-CA-linux64
  • Scala:2.12.14
  • Python:3.8.10
  • R:4.1.2
  • Delta Lake:1.1.0

已安装的 Python 库

版本 版本 版本
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1.10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbu-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0.3
facets-overview 1.0.0 filelock 3.6.0 idna 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 笔记本 6.3.0 numpy 1.20.1
打包 20.9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
plotly 5.5.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
请求 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 seaborn 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 6 1.15.0
ssh-import-id 5.10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0.1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

已安装的 R 库

R 库安装自 2022-02-24 版本中的 Microsoft CRAN 快照。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.2 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.2 启动 1.3-28
brew 1.0-7 brio 1.1.3 broom 0.7.12
bslib 0.3.1 cachem 1.0.6 callr 3.7.0
caret 6.0-90 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.2 codetools 0.2-18 colorspace 2.0-3
commonmark 1.7 compiler 4.1.2 config 0.3.1
cpp11 0.4.2 crayon 1.5.0 凭据 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.2
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.0
devtools 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
ellipsis 0.3.2 评估 0.15 fansi 1.0.2
farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 foreign 0.8-82
forge 0.2.0 fs 1.5.2 future 1.24.0
future.apply 1.8.1 gargle 1.2.0 generics 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
glue 1.6.1 googledrive 2.0.0 googlesheets4 1.0.0
gower 1.0.0 graphics 4.1.2 grDevices 4.1.2
grid 4.1.2 gridExtra 2.3 gsubfn 0.7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
highr 0.9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
iterators 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.37 labeling 0.4.2
later 1.3.0 lattice 0.20-45 lava 1.6.10
lifecycle 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 markdown 1.1 MASS 7.3-55
Matrix 1.4-0 memoise 2.0.1 方法 4.1.2
mgcv 1.8-39 mime 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-155
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 1.4.6
parallel 4.1.2 parallelly 1.30.0 pillar 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.6 praise 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.2
prodlim 2019.11.13 进度 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.5
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
recipes 0.2.0 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.1 rmarkdown 2.11 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.10 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 sass 0.4.0
scales 1.1.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spatial 7.3-11
splines 4.1.2 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.2 stats4 4.1.2 stringi 1.7.6
stringr 1.4.0 survival 3.2-13 sys 3.4
tcltk 4.1.2 TeachingDemos 2.10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 timeDate 3043.102 tinytex 0.37
工具 4.1.2 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 utils 4.1.2 uuid 1.0-3
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.3.1 whisker 0.4 withr 2.4.3
xfun 0.29 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.1-databricks
org.apache.hadoop hadoop-client-runtime 3.3.1
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.htrace htrace-core4 4.1.0-incubating
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.12
org.apache.orc orc-mapreduce 1.6.12
org.apache.orc orc-shims 1.6.12
org.apache.parquet parquet-column 1.12.0-databricks-0003
org.apache.parquet parquet-common 1.12.0-databricks-0003
org.apache.parquet parquet-encoding 1.12.0-databricks-0003
org.apache.parquet parquet-format-structures 1.12.0-databricks-0003
org.apache.parquet parquet-hadoop 1.12.0-databricks-0003
org.apache.parquet parquet-jackson 1.12.0-databricks-0003
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1