Databricks Runtime 8.0 (EoS)
注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2021 年 3 月发布了此版本。
以下发行说明提供了由 Apache Spark 3.1.1提供支持的 Databricks Runtime 8.0 的相关信息。
新增功能
Databricks Runtime 8.0 包括 Apache Spark 3.1.1。 有关详细信息,请参阅 Apache Spark。
改进
当未指定格式时,Delta 现在为默认格式
Databricks Runtime 8.0 会将默认格式更改为 delta
,以更轻松地创建 Delta 表。 使用 SQL 命令或 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream}
API 创建表,且未指定格式时,默认格式为 delta
。
借助 Delta Lake,可以获得比 Parquet 更好的性能,通过丰富的架构验证、质量约束和事务性保证获得更好的数据可靠性。 借助 Delta Lake,可以在单个数据源上进行统一的结构化流式处理和批处理,从而简化数据管道。
尽管 Databricks 建议使用 Delta Lake 来存储数据,但你可能拥有需要迁移到 Delta Lake 的旧工作流。 若要详细了解如何迁移现有工作流,请参阅什么是 Delta Lake?。
新的结构化流式处理默认触发间隔可降低成本
如果未在流式处理查询中使用 Trigger.ProcessingTime
设置触发器间隔,则间隔将设置为 500 毫秒。 以前,默认间隔为 0 毫秒。 此更改应减少空触发器的数量并降低云存储(如列表)的成本。
将 LDA 转换功能与凭据传递一起使用(公共预览版)
你现在可以在配置为使用凭据传递进行身份验证的群集上使用 LDA 转换函数。
配置了凭据传递的单用户群集不再需要受信任的文件系统(公共预览版)
使用为单个用户的凭据传递配置的标准或作业群集时,不再需要将本地文件系统配置为受信任文件系统。 此更改删除了在单个用户群集上运行作业时的不必要的文件系统限制。
库升级
- 升级了几个 Java 库和 Scala 库。 请参阅已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)。
- 已将 Python 升级到 3.8.6。
- 升级了多个已安装的 Python 库。 请参阅安装的 Python 库。
- 已将 R 升级到 4.0.3。
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
Apache Spark
Databricks Runtime 8.0 包括 Apache Spark 3.1.1。
本节内容:
Core 和 Spark SQL
亮点
- 统一创建表的 SQL 语法 (SPARK-31257)
- 无序哈希联接改善 (SPARK-32461)
- 增强的子表达式消除(SPARK-33092、SPARK-33337、SPARK-33427、SPARK-33540)
- Kubernetes GA (SPARK-33005)
ANSI SQL 兼容性增强功能
- 支持 char/varchar 数据类型 (SPARK-33480)
- ANSI 模式:运行时错误,而不是返回 null (SPARK-33275)
- ANSI 模式:新的显式强制转换语法规则 (SPARK-33354)
- 添加 SQL 标准命令
SET TIME ZONE
(SPARK-32272) - 统一创建表的 SQL 语法 (SPARK-31257)
- 统一临时视图和永久视图行为 (SPARK-33138)
INSERT
语句中的支持列列表 ( SPARK-32976 )- 支持 ANSI 嵌套的带括号注释 (SPARK-28880)
性能增强功能
- 没有无序服务的情况下读取主机本地无序数据 (SPARK-32077)
- 在将节点重新分区之前删除冗余排序 (SPARK-32276)
- 部分下推谓词(SPARK-32302、SPARK-32352)
- 通过展开下推筛选器 (SPARK-33302)
- 通过 CNF 转换,利用联接推送更多可能的谓词 (SPARK-31705)
- 通过保留广播哈希联接的输出分区来删除无序 (SPARK-31869)
- 通过改善重新排序联接键来删除无序 (SPARK-32282)
- 通过规范化输出分区和排序顺序来删除无序 (SPARK-33399)
- 无序哈希联接改善 (SPARK-32461)
- 保留无序哈希联接生成端分区 (SPARK-32330)
- 保留哈希联接(BHJ 和 SHJ)流端排序 (SPARK-32383)
- 联合用于排序合并联接的存储表 (SPARK-32286)
- 为无序哈希联接添加 code-gen (SPARK-32421)
- 支持在无序哈希联接中进行完全外部联接 (SPARK-32399)
- 支持全阶段 codegen 项目中的子表达式消除 (SPARK-33092)
- 支持条件表达式中消除子表达式 (SPARK-33337)
- 支持已解释表达式计算的子表达式消除 (SPARK-33427)
- 支持已解释谓词的子表达式消除 (SPARK-33540)
- 其他优化器规则
- 规则
ExtractSingleColumnNullAwareAntiJoin
(SPARK-32290) - 规则
EliminateNullAwareAntiJoin
(SPARK-32573) - 规则
EliminateAggregateFilter
(SPARK-32540) - 规则
UnwrapCastInBinaryComparison
(SPARK-32858) - 规则
DisableUnnecessaryBucketedScan
(SPARK-32859) - 规则
CoalesceBucketsInJoin
(SPARK-31350) - 从没有项目的生成中删除不必要的嵌套字段 (SPARK-29721)
- 从聚合和扩展中删除不必要的嵌套字段 (SPARK-27217)
- 从按表达式重新分区和联接中删除不必要的嵌套字段 (SPARK-31736)
- 删除不必要的嵌套字段以修饰变化 (SPARK-32163)
- 将不必要的嵌套字段从窗口和排序删除 (SPARK-32059)
- 将 CreateArray/CreateMap 的大小优化为其子级的大小 (SPARK-33544)
- 规则
扩展性增强功能
- 在 DataSourceV2 上添加
SupportsPartitions
API (SPARK-31694) - 在 DataSourceV2 上添加
SupportsMetadataColumns
API (SPARK-31255) - 将 SQL 缓存序列化可插入 (SPARK-32274)
- 在v2目录的
TableCatalog.dropTable
中引入purge
选项 (SPARK-33364)
连接器增强功能
- Hive 元存储分区筛选器下推改善 (SPARK-33537)
- 支持包含、开始和结束筛选器 (SPARK-33458)
- 支持按日期类型的筛选器 (SPARK-33477)
- 支持按 not-equals 的筛选器 (SPARK-33582)
- Parquet
- 允许在 Parquet 的映射键类型中使用复杂类型 (SPARK-32639)
- 允许在 Parquet 中保存和加载 INT96 而不需要重定基本值 (SPARK-33160)
- ORC
- ORC 的嵌套列谓词下推 (SPARK-25557)
- 将 Apache ORC 升级到 1.5.12 (SPARK-33050)
- CSV
- 在 CSV 架构推理期间利用 SQL 文本数据源 (SPARK-32270)
- JSON
- 支持 JSON 数据源中的筛选器下推 (SPARK-30648)
- JDBC
- 实现 JDBC 的目录 API(SPARK-32375、SPARK-32579、SPARK-32402、SPARK-33130)
- 创建 JDBC 身份验证提供程序开发人员 API (SPARK-32001)
- 添加 JDBC 连接提供程序禁用可能性 (SPARK-32047)
- Avro
- 支持在 Avro 数据源中的筛选器下推 (SPARK-32346)
功能增强
- 节点停用 (SPARK-20624)
- 基本框架 (SPARK-20628)
- 在停用期间迁移 RDD 块 (SPARK-20732)
- 动态缩放过程中的正常停用 (SPARK-31198)
- 在停用期间迁移无序块 (SPARK-20629)
- 仅在任务和块迁移完成后退出执行器 (SPARK-31197)
- 支持在停用期间回退存储 (SPARK-33545)
- 新的内置函数
- json_array_length (SPARK-31008)
- json_object_keys (SPARK-31009)
- current_catalog (SPARK-30352)
- timestamp_seconds、timestamp_millis、timestamp_micros (SPARK-31710)
- width_bucket (SPARK-21117)
- regexp_extract_all (SPARK-24884)
- nth_value (SPARK-27951)
- raise_error (SPARK-32793)
- unix_seconds、unix_millis 和 unix_micros (SPARK-33627)
- date_from_unix_date 和 unix_date (SPARK-33646)
- current_timezone (SPARK-33469)
- 说明命令增强功能 (SPARK-32337、SPARK-31325)
- 提供一个选项,用于禁用用户提供的提示 (SPARK-31875)
- 支持 Hive 样式替换列语法 (SPARK-30613)
- 支持
LIKE ANY
和LIKE ALL
运算符 (SPARK-30724) - 在
MERGE INTO
中支持无限的MATCHED
和NOT MATCHED
(SPARK-32030) - 支持后缀为
F
的浮点文字 (SPARK-32207) - 支持
RESET
语法用于重置单一配置 (SPARK-32406) - 支持筛选器表达式允许同时使用
DISTINCT
(SPARK-30276) - 支持更改表添加/删除 DSv2 的分区命令 (SPARK-32512)
- 支持嵌套
OR
条件内的NOT IN
子查询 (SPARK-25154) - 支持
REFRESH FUNCTION
命令 (SPARK-31999) - 在数据集中的添加
sameSemantics
和sementicHash
方法 (SPARK-30791) - 支持 UDF 中的事例类的组合类型 (SPARK-31826)
- 支持编码器中的枚举 (SPARK-32585)
- 支持嵌套的字段 API
withField
和dropFields
(SPARK-31317、SPARK-32511) - 支持在
unionByName
中填充缺少的列的 null 值 (SPARK-29358) - 支持
DataFrameReader.table
使用指定选项 (SPARK-32592、SPARK-32844) - 支持
spark.sql.hive.metastore.jars
中的 HDFS 位置 (SPARK-32852) - 本机支持
--archives
选项 (SPARK-33530、SPARK-33615) - 增强
ExecutorPlugin
API,使其包括任务开始和结束事件的方法 (SPARK-33088)
其他值得注意的更改
- 在 Spark 文档站点中提供搜索功能 (SPARK-33166)
- 将 Apache Arrow 升级到 2.0.0 (SPARK-33213)
- 在 thrift 服务器中启用 Java 8 时间 API (SPARK-31910)
- 在 UDF 中启用 Java 8 时间 API (SPARK-32154)
- 对包含小数的聚合汇总的溢出检查 (SPARK-28067)
- 修复动态分区覆盖模式下的提交冲突 (SPARK-27194、SPARK-29302)
- 删除对从属、黑名单和白名单的引用 (SPARK-32004、SPARK-32036、SPARK-32037)
- 删除无序映射阶段的任务结果大小检查 (SPARK-32470)
- 通用化
ExecutorSource
以公开用户提供的文件系统方案 (SPARK-33476) - 添加
StorageLevel.DISK_ONLY_3
(SPARK-32517) - 在执行程序的 Web UI 中公开执行程序的内存指标 (SPARK-23432)
- 在“阶段”选项卡中的阶段级别上公开执行程序的内存指标 (SPARK-26341)
- 修复 YARN 群集模式中显式设置的
spark.ui.port
(SPARK-29465) - 添加
spark.submit.waitForCompletion
配置以控制在独立群集模式下的 spark-submit 退出 (SPARK-31486) - 设置
yarn.Client
以打印指向驱动程序 stdout/stderr 的直接链接 (SPARK-33185) - 修复存储广播片段失败时的内存泄露 (SPARK-32715)
- 使
BlockManagerMaster
驱动程序检测信号超时可配置 (SPARK-34278) - 统一并完成缓存行为 (SPARK-33507)
PySpark
Project Zen
- Project Zen:提高 Python 可用性 (SPARK-32082)
- PySpark 类型提示支持 (SPARK-32681)
- 重新设计 PySpark 文档 (SPARK-31851)
- 迁移到 NumPy 文档样式 (SPARK-32085)
- PyPI 用户的安装选项 (SPARK-32017)
- 弃用从 dict 列表中推断数据帧架构 (SPARK-32686)
- 简化来自 Python UDF 的异常消息 (SPARK-33407)
其他值得注意的更改
- 删除重复确定性 PythonUDF 调用 (SPARK-33303)
- 支持 PySpark 函数中的高阶函数 (SPARK-30681)
- 支持数据源 v2x 写入 API (SPARK-29157)
- 在 PySpark 函数中支持
percentile_approx
(SPARK-30569) - 在 PySpark 数据帧中的支持
inputFiles
(SPARK-31763) - 在 PySpark 列中支持
withField
(SPARK-32835) - 在 PySpark 列中支持
dropFields
(SPARK-32511) - 在 PySpark 函数中支持
nth_value
(SPARK-33020) - 支持
acosh
、asinh
和atanh
(SPARK-33563) - 在 PySpark SparkContext 中支持
getCheckpointDir
方法 (SPARK-33017) - 支持在
unionByName
中填充缺少的列的 null 值 (SPARK-32798) - 更新
cloudpickle
到 v1.5.0 (SPARK-32094) - 使用箭头添加对 PySpark 的
MapType
支持 (SPARK-24554) DataStreamReader.table
和DataStreamWriter.toTable
(SPARK-33836)
结构化流式处理
性能增强功能
- 将 maxFilesPerTrigger 之外的文件列表缓存到未读文件 (SPARK-30866)
- 简化文件流源和接收器元数据日志的逻辑 (SPARK-30462)
- 如果查询从 compact 批处理重启,请避免读取 compact 元数据日志两次 (SPARK-30900)
功能增强
- 添加
DataStreamReader.table
API (SPARK-32885) - 添加
DataStreamWriter.toTable
API (SPARK-32896) - 左半流-流联接 (SPARK-32862)
- 完全外部流-流联接 (SPARK-32863)
- 提供保留输出文件的新选项 (SPARK-27188)
- 添加 Spark 结构化流式处理历史记录服务器支持 (SPARK-31953)
- 在查询重启之间引入状态架构验证 (SPARK-27237)
其他值得注意的更改
- 引入流式传输状态存储的架构验证 (SPARK-31894)
- 支持在状态存储中使用不同的压缩编解码器 (SPARK-33263)
- 由于元数据从未更新,Kafka 连接器无限等待 (SPARK-28367)
- 将 Kafka 升级到 2.6.0 (SPARK-32568)
- 对结构化流式处理 UI 页的分页支持(SPARK-31642、SPARK-30119)
- 结构化流式处理 UI 中的状态信息 (SPARK-33223)
- 结构化流式处理 UI 中的水印间隙信息 (SPARK-33224)
- 在 SS UI 上公开状态自定义指标信息 (SPARK-33287)
- 添加有关晚于水印的行数的新指标 (SPARK-24634)
MLlib
亮点
- LinearSVC blockify 输入向量 (SPARK-30642)
- LogisticRegression blockify 输入向量 (SPARK-30659)
- LinearRegression blockify 输入向量 (SPARK-30660)
- AFT blockify 输入向量 (SPARK-31656)
- 在 ML 中添加对关联规则的支持 (SPARK-19939)
- 添加 LinearSVCModel 的训练摘要 (SPARK-20249)
- 将摘要添加到 RandomForestClassificationModel (SPARK-23631)
- 将训练摘要添加到 FMClassificationModel (SPARK-32140)
- 将摘要添加到 MultilayerPerceptronClassificationModel (SPARK-32449)
- 将 FMClassifier 添加到 SparkR (SPARK-30820)
- 添加 SparkR LinearRegression 包装器 (SPARK-30818)
- 将 FMRegressor 包装器添加到 SparkR (SPARK-30819)
- 为
vector_to_array
添加 SparkR 包装器 (SPARK-33040) - 自适应 blockify 实例 - LinearSVC (SPARK-32907)
- 使 CrossValidator/TrainValidateSplit/OneVsRest 读取器/写入器支持 Python 后端估算器/计算器 (SPARK-33520)
- 通过 GEMV 提高 ML ALS recommendForAll 的性能 (SPARK-33518)
- 添加 UnivariateFeatureSelector (SPARK-34080)
其他值得注意的更改
- GMM 在一个作业中计算摘要和更新分发 (SPARK-31032)
- 删除 mllib.ChiSqSelectorModel 上的 ChiSqSelector 依赖项 (SPARK-31077)
- 平展 testChiSquare 中测试的结果数据帧 (SPARK-31301)
- MinHash keyDistance 优化 (SPARK-31436)
- 基于三角不相等性的 KMeans 优化 (SPARK-31007)
- 在 ClusteringEvaluator 中添加权重支持 (SPARK-31734)
- 在计算器中添加 getMetrics (SPARK-31768)
- 在 LinearRegressionSummary 中添加实例权重支持 (SPARK-31944)
- 将用户指定的折叠列添加到 CrossValidator (SPARK-31777)
- ML 参数默认值在功能和优化中的奇偶校验 (SPARK-32310)
- 修复 KMeans/BiKMeans 中的双重缓存问题 (SPARK-32676)
- aft 转换优化 (SPARK-33111)
- FeatureHasher 转换优化 (SPARK-32974)
- 为数据帧列添加 array_to_vector 函数 (SPARK-33556)
- 分类、回归、群集和 fpm 中的 ML 参数默认值奇偶校验 (SPARK-32310)
- Summary.totalIterations 大于 maxIters (SPARK-31925)
- 树模型预测优化 (SPARK-32298)
SparkR
- 为高阶函数添加 SparkR 接口 (SPARK-30682)
- 支持在 unionByName 中为缺失的列填充 null 值 (SPARK-32798)
- 支持 SparkR 函数中的 withColumn (SPARK-32946)
- 支持 SparkR 函数中的 timestamp_seconds (SPARK-32949)
- 支持 SparkR 函数中 nth_value (SPARK-33030)
- 最小箭头版本已升级至 1.0.0 (SPARK-32452)
- 支持 SparkR 函数中 array_to_vector (SPARK-33622)
- 支持 acosh、asinh 和 atanh (SPARK-33563)
- 支持 from_avro 和 to_avro (SPARK-33304)
维护更新
请参阅 Databricks Runtime 8.0 维护更新。
系统环境
- 操作系统:Ubuntu 18.04.5 LTS
- Java:Zulu 8.50.0.51-CA-linux64(内部版本 1.8.0_275-b01)
- Scala:2.12.10
- Python:3.8.8(在 2021 年 5 月 26 日的维护更新中,更新自 3.8.6)
- R:R 版本 4.0.3 (2020-10-10)
- Delta Lake 0.8.0
已安装的 Python 库
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
appdirs | 1.4.4 | asn1crypto | 1.4.0 | backcall | 0.2.0 |
boto3 | 1.16.7 | botocore | 1.19.7 | brotlipy | 0.7.0 |
certifi | 2020.12.5 | cffi | 1.14.3 | chardet | 3.0.4 |
密码系统 | 3.1.1 | cycler | 0.10.0 | Cython | 0.29.21 |
decorator | 4.4.2 | distlib | 0.3.1 | docutils | 0.15.2 |
entrypoints | 0.3 | filelock | 3.0.12 | idna | 2.10 |
ipykernel | 5.3.4 | ipython | 7.19.0 | ipython-genutils | 0.2.0 |
jedi | 0.17.2 | jmespath | 0.10.0 | joblib | 0.17.0 |
jupyter-client | 6.1.7 | jupyter-core | 4.6.3 | kiwisolver | 1.3.0 |
koalas | 1.5.0 | matplotlib | 3.2.2 | numpy | 1.19.2 |
pandas | 1.1.3 | parso | 0.7.0 | patsy | 0.5.1 |
pexpect | 4.8.0 | pickleshare | 0.7.5 | pip | 20.2.4 |
prompt-toolkit | 3.0.8 | psycopg2 | 2.8.5 | ptyprocess | 0.6.0 |
pyarrow | 1.0.1 | pycparser | 2.20 | Pygments | 2.7.2 |
pyOpenSSL | 19.1.0 | pyparsing | 2.4.7 | PySocks | 1.7.1 |
python-dateutil | 2.8.1 | pytz | 2020.1 | pyzmq | 19.0.2 |
请求 | 2.24.0 | s3transfer | 0.3.3 | scikit-learn | 0.23.2 |
scipy | 1.5.2 | seaborn | 0.10.0 | setuptools | 50.3.1 |
6 | 1.15.0 | statsmodels | 0.12.0 | threadpoolctl | 2.1.0 |
tornado | 6.0.4 | traitlets | 5.0.5 | urllib3 | 1.25.11 |
virtualenv | 20.2.1 | wcwidth | 0.2.5 | wheel | 0.35.1 |
已安装的 R 库
R 库安装自 2020-11-02 的 Microsoft CRAN 快照。
库 | 版本 | 库 | 版本 | 库 | 版本 |
---|---|---|---|---|---|
askpass | 1.1 | assertthat | 0.2.1 | backports | 1.2.1 |
base | 4.0.3 | base64enc | 0.1-3 | BH | 1.72.0-3 |
bit | 4.0.4 | bit64 | 4.0.5 | blob | 1.2.1 |
启动 | 1.3-25 | brew | 1.0-6 | brio | 1.1.0 |
broom | 0.7.2 | callr | 3.5.1 | caret | 6.0-86 |
cellranger | 1.1.0 | chron | 2.3-56 | class | 7.3-17 |
cli | 2.2.0 | clipr | 0.7.1 | cluster | 2.1.0 |
codetools | 0.2-18 | colorspace | 2.0-0 | commonmark | 1.7 |
compiler | 4.0.3 | config | 0.3 | covr | 3.5.1 |
cpp11 | 0.2.4 | crayon | 1.3.4 | 凭据 | 1.3.0 |
crosstalk | 1.1.0.1 | curl | 4.3 | data.table | 1.13.4 |
datasets | 4.0.3 | DBI | 1.1.0 | dbplyr | 2.0.0 |
desc | 1.2.0 | devtools | 2.3.2 | diffobj | 0.3.2 |
digest | 0.6.27 | dplyr | 1.0.2 | DT | 0.16 |
ellipsis | 0.3.1 | 评估 | 0.14 | fansi | 0.4.1 |
farver | 2.0.3 | fastmap | 1.0.1 | forcats | 0.5.0 |
foreach | 1.5.1 | foreign | 0.8-79 | forge | 0.2.0 |
fs | 1.5.0 | future | 1.21.0 | generics | 0.1.0 |
gert | 1.0.2 | ggplot2 | 3.3.2 | gh | 1.2.0 |
gitcreds | 0.1.1 | glmnet | 4.0-2 | globals | 0.14.0 |
glue | 1.4.2 | gower | 0.2.2 | graphics | 4.0.3 |
grDevices | 4.0.3 | grid | 4.0.3 | gridExtra | 2.3 |
gsubfn | 0.7 | gtable | 0.3.0 | haven | 2.3.1 |
highr | 0.8 | hms | 0.5.3 | htmltools | 0.5.0 |
htmlwidgets | 1.5.3 | httpuv | 1.5.4 | httr | 1.4.2 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ini | 0.3.1 |
ipred | 0.9-9 | isoband | 0.2.3 | iterators | 1.0.13 |
jsonlite | 1.7.2 | KernSmooth | 2.23-18 | knitr | 1.30 |
labeling | 0.4.2 | later | 1.1.0.1 | lattice | 0.20-41 |
lava | 1.6.8.1 | lazyeval | 0.2.2 | lifecycle | 0.2.0 |
listenv | 0.8.0 | lubridate | 1.7.9.2 | magrittr | 2.0.1 |
markdown | 1.1 | MASS | 7.3-53 | 矩阵 | 1.2-18 |
memoise | 1.1.0 | 方法 | 4.0.3 | mgcv | 1.8-33 |
mime | 0.9 | ModelMetrics | 1.2.2.2 | modelr | 0.1.8 |
munsell | 0.5.0 | nlme | 3.1-151 | nnet | 7.3-14 |
numDeriv | 2016.8-1.1 | openssl | 1.4.3 | parallel | 4.0.3 |
parallelly | 1.22.0 | pillar | 1.4.7 | pkgbuild | 1.1.0 |
pkgconfig | 2.0.3 | pkgload | 1.1.0 | plogr | 0.2.0 |
plyr | 1.8.6 | praise | 1.0.0 | prettyunits | 1.1.1 |
pROC | 1.16.2 | processx | 3.4.5 | prodlim | 2019.11.13 |
进度 | 1.2.2 | promises | 1.1.1 | proto | 1.0.0 |
ps | 1.5.0 | purrr | 0.3.4 | r2d3 | 0.2.3 |
R6 | 2.5.0 | randomForest | 4.6-14 | rappdirs | 0.3.1 |
rcmdcheck | 1.3.3 | RColorBrewer | 1.1-2 | Rcpp | 1.0.5 |
readr | 1.4.0 | readxl | 1.3.1 | recipes | 0.1.15 |
rematch | 1.0.1 | rematch2 | 2.1.2 | remotes | 2.2.0 |
reprex | 0.3.0 | reshape2 | 1.4.4 | rex | 1.2.0 |
rlang | 0.4.9 | rmarkdown | 2.6 | RODBC | 1.3-17 |
roxygen2 | 7.1.1 | rpart | 4.1-15 | rprojroot | 2.0.2 |
Rserve | 1.8-7 | RSQLite | 2.2.1 | rstudioapi | 0.13 |
rversions | 2.0.2 | rvest | 0.3.6 | scales | 1.1.1 |
selectr | 0.4-2 | sessioninfo | 1.1.1 | shape | 1.4.5 |
shiny | 1.5.0 | sourcetools | 0.1.7 | sparklyr | 1.5.2 |
SparkR | 3.1.0 | spatial | 7.3-11 | splines | 4.0.3 |
sqldf | 0.4-11 | SQUAREM | 2020.5 | stats | 4.0.3 |
stats4 | 4.0.3 | stringi | 1.5.3 | stringr | 1.4.0 |
survival | 3.2-7 | sys | 3.4 | tcltk | 4.0.3 |
TeachingDemos | 2.10 | testthat | 3.0.0 | tibble | 3.0.4 |
tidyr | 1.1.2 | tidyselect | 1.1.0 | tidyverse | 1.3.0 |
timeDate | 3043.102 | tinytex | 0.28 | 工具 | 4.0.3 |
usethis | 2.0.0 | utf8 | 1.1.4 | utils | 4.0.3 |
uuid | 0.1-4 | vctrs | 0.3.5 | viridisLite | 0.3.0 |
waldo | 0.2.3 | whisker | 0.4 | withr | 2.3.0 |
xfun | 0.19 | xml2 | 1.3.2 | xopen | 1.0.0 |
xtable | 1.8-4 | yaml | 2.2.1 | zip | 2.1.1 |
已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)
组 ID | 项目 ID | 版本 |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.655 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.655 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.655 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.655 |
com.amazonaws | aws-java-sdk-config | 1.11.655 |
com.amazonaws | aws-java-sdk-core | 1.11.655 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.655 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.655 |
com.amazonaws | aws-java-sdk-directory | 1.11.655 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.655 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.655 |
com.amazonaws | aws-java-sdk-ecs | 1.11.655 |
com.amazonaws | aws-java-sdk-efs | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.655 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.655 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.655 |
com.amazonaws | aws-java-sdk-emr | 1.11.655 |
com.amazonaws | aws-java-sdk-glacier | 1.11.655 |
com.amazonaws | aws-java-sdk-iam | 1.11.655 |
com.amazonaws | aws-java-sdk-importexport | 1.11.655 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.655 |
com.amazonaws | aws-java-sdk-kms | 1.11.655 |
com.amazonaws | aws-java-sdk-lambda | 1.11.655 |
com.amazonaws | aws-java-sdk-logs | 1.11.655 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.655 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.655 |
com.amazonaws | aws-java-sdk-rds | 1.11.655 |
com.amazonaws | aws-java-sdk-redshift | 1.11.655 |
com.amazonaws | aws-java-sdk-route53 | 1.11.655 |
com.amazonaws | aws-java-sdk-s3 | 1.11.655 |
com.amazonaws | aws-java-sdk-ses | 1.11.655 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.655 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.655 |
com.amazonaws | aws-java-sdk-sns | 1.11.655 |
com.amazonaws | aws-java-sdk-sqs | 1.11.655 |
com.amazonaws | aws-java-sdk-ssm | 1.11.655 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.655 |
com.amazonaws | aws-java-sdk-sts | 1.11.655 |
com.amazonaws | aws-java-sdk-support | 1.11.655 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.11.655 |
com.amazonaws | jmespath-java | 1.11.655 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | 流 (stream) | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo-shaded | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | classmate | 1.3.4 |
com.fasterxml.jackson.core | jackson-annotations | 2.10.0 |
com.fasterxml.jackson.core | jackson-core | 2.10.0 |
com.fasterxml.jackson.core | jackson-databind | 2.10.0 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.10.0 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.10.0 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.10.0 |
com.github.ben-manes.caffeine | caffeine | 2.3.4 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | core | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.joshelser | dropwizard-metrics-hadoop-metrics2-reporter | 0.1.2 |
com.github.luben | zstd-jni | 1.4.8-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.2.4 |
com.google.flatbuffers | flatbuffers-java | 1.9.0 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 1.4.195 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.sqlserver | mssql-jdbc | 8.2.1.jre8 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.ning | compress-lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.9.5 |
com.twitter | chill_2.12 | 0.9.5 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.univocity | univocity-parsers | 2.9.0 |
com.zaxxer | HikariCP | 3.1.0 |
commons-beanutils | commons-beanutils | 1.9.4 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
commons-collections | commons-collections | 3.2.2 |
commons-configuration | commons-configuration | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
commons-digester | commons-digester | 1.8 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-net | commons-net | 3.1 |
commons-pool | commons-pool | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | aircompressor | 0.10 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | metrics-healthchecks | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.51.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | 收集器 | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | activation | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaction-api | 1.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.5 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.razorvine | pyrolite | 4.30 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.12.8 |
net.snowflake | spark-snowflake_2.12 | 2.8.1-spark_3.0 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.8-1 |
org.antlr | stringtemplate | 3.2.1 |
org.apache.ant | ant | 1.9.2 |
org.apache.ant | ant-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.arrow | arrow-format | 2.0.0 |
org.apache.arrow | arrow-memory-core | 2.0.0 |
org.apache.arrow | arrow-memory-netty | 2.0.0 |
org.apache.arrow | arrow-vector | 2.0.0 |
org.apache.avro | avro | 1.8.2 |
org.apache.avro | avro-ipc | 1.8.2 |
org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
org.apache.commons | commons-compress | 1.20 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.10 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.commons | commons-text | 1.6 |
org.apache.curator | curator-client | 2.7.1 |
org.apache.curator | curator-framework | 2.7.1 |
org.apache.curator | curator-recipes | 2.7.1 |
org.apache.derby | derby | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | hadoop-annotations | 2.7.4 |
org.apache.hadoop | hadoop-auth | 2.7.4 |
org.apache.hadoop | hadoop-client | 2.7.4 |
org.apache.hadoop | hadoop-common | 2.7.4 |
org.apache.hadoop | hadoop-hdfs | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.4 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.4 |
org.apache.hadoop | hadoop-yarn-api | 2.7.4 |
org.apache.hadoop | hadoop-yarn-client | 2.7.4 |
org.apache.hadoop | hadoop-yarn-common | 2.7.4 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.4 |
org.apache.hive | hive-beeline | 2.3.7 |
org.apache.hive | hive-cli | 2.3.7 |
org.apache.hive | hive-common | 2.3.7 |
org.apache.hive | hive-exec-core | 2.3.7 |
org.apache.hive | hive-jdbc | 2.3.7 |
org.apache.hive | hive-llap-client | 2.3.7 |
org.apache.hive | hive-llap-common | 2.3.7 |
org.apache.hive | hive-metastore | 2.3.7 |
org.apache.hive | hive-serde | 2.3.7 |
org.apache.hive | hive-shims | 2.3.7 |
org.apache.hive | hive-storage-api | 2.7.2 |
org.apache.hive | hive-vector-code-gen | 2.3.7 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.7 |
org.apache.hive.shims | hive-shims-common | 2.3.7 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.7 |
org.apache.htrace | htrace-core | 3.1.0-incubating |
org.apache.httpcomponents | httpclient | 4.5.6 |
org.apache.httpcomponents | httpcore | 4.4.12 |
org.apache.ivy | ivy | 2.4.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.5.12 |
org.apache.orc | orc-mapreduce | 1.5.12 |
org.apache.orc | orc-shims | 1.5.12 |
org.apache.parquet | parquet-column | 1.10.1-databricks6 |
org.apache.parquet | parquet-common | 1.10.1-databricks6 |
org.apache.parquet | parquet-encoding | 1.10.1-databricks6 |
org.apache.parquet | parquet-format | 2.4.0 |
org.apache.parquet | parquet-hadoop | 1.10.1-databricks6 |
org.apache.parquet | parquet-jackson | 1.10.1-databricks6 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.velocity | 速度 | 1.5 |
org.apache.xbean | xbean-asm7-shaded | 4.15 |
org.apache.yetus | audience-annotations | 0.5.0 |
org.apache.zookeeper | zookeeper | 3.4.14 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.jackson | jackson-xc | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | jetty-client | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-continuation | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-http | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-io | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-jndi | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-plus | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-proxy | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-security | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-server | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-servlet | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-servlets | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-util | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-webapp | 9.4.34.v20201102 |
org.eclipse.jetty | jetty-xml | 9.4.34.v20201102 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.30 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.30 |
org.glassfish.jersey.core | jersey-client | 2.30 |
org.glassfish.jersey.core | jersey-common | 2.30 |
org.glassfish.jersey.core | jersey-server | 2.30 |
org.glassfish.jersey.inject | jersey-hk2 | 2.30 |
org.glassfish.jersey.media | jersey-media-jaxb | 2.30 |
org.hibernate.validator | hibernate-validator | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M5 |
org.json4s | json4s-core_2.12 | 3.7.0-M5 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M5 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M5 |
org.lz4 | lz4-java | 1.7.1 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | RoaringBitmap | 0.9.0 |
org.roaringbitmap | shims | 0.9.0 |
org.rocksdb | rocksdbjni | 6.2.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.10 |
org.scala-lang | scala-library_2.12 | 2.12.10 |
org.scala-lang | scala-reflect_2.12 | 2.12.10 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.1.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | test-interface | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | breeze-macros_2.12 | 1.0 |
org.scalanlp | breeze_2.12 | 1.0 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.30 |
org.slf4j | jul-to-slf4j | 1.7.30 |
org.slf4j | slf4j-api | 1.7.30 |
org.slf4j | slf4j-log4j12 | 1.7.30 |
org.spark-project.spark | unused | 1.0.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.threeten | threeten-extra | 1.5.0 |
org.tukaani | xz | 1.5 |
org.typelevel | algebra_2.12 | 2.0.0-M2 |
org.typelevel | cats-kernel_2.12 | 2.0.0-M4 |
org.typelevel | machinist_2.12 | 0.6.8 |
org.typelevel | macro-compat_2.12 | 1.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0-M1 |
org.typelevel | spire-platform_2.12 | 0.17.0-M1 |
org.typelevel | spire-util_2.12 | 0.17.0-M1 |
org.typelevel | spire_2.12 | 0.17.0-M1 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.2 |
org.yaml | snakeyaml | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |