Databricks Runtime 8.0 (EoS)

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期,请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本,请参阅 Databricks Runtime 发行说明版本和兼容性

Databricks 于 2021 年 3 月发布了此版本。

以下发行说明提供了由 Apache Spark 3.1.1提供支持的 Databricks Runtime 8.0 的相关信息。

新增功能

Databricks Runtime 8.0 包括 Apache Spark 3.1.1。 有关详细信息,请参阅 Apache Spark

改进

当未指定格式时,Delta 现在为默认格式

Databricks Runtime 8.0 会将默认格式更改为 delta,以更轻松地创建 Delta 表。 使用 SQL 命令或 {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API 创建表,且未指定格式时,默认格式为 delta

借助 Delta Lake,可以获得比 Parquet 更好的性能,通过丰富的架构验证、质量约束和事务性保证获得更好的数据可靠性。 借助 Delta Lake,可以在单个数据源上进行统一的结构化流式处理和批处理,从而简化数据管道。

尽管 Databricks 建议使用 Delta Lake 来存储数据,但你可能拥有需要迁移到 Delta Lake 的旧工作流。 若要详细了解如何迁移现有工作流,请参阅什么是 Delta Lake?

新的结构化流式处理默认触发间隔可降低成本

如果未在流式处理查询中使用 Trigger.ProcessingTime 设置触发器间隔,则间隔将设置为 500 毫秒。 以前,默认间隔为 0 毫秒。 此更改应减少空触发器的数量并降低云存储(如列表)的成本。

将 LDA 转换功能与凭据传递一起使用(公共预览版)

你现在可以在配置为使用凭据传递进行身份验证的群集上使用 LDA 转换函数。

配置了凭据传递的单用户群集不再需要受信任的文件系统(公共预览版)

使用为单个用户的凭据传递配置的标准或作业群集时,不再需要将本地文件系统配置为受信任文件系统。 此更改删除了在单个用户群集上运行作业时的不必要的文件系统限制。

库升级

Apache Spark

Databricks Runtime 8.0 包括 Apache Spark 3.1.1。

本节内容:

Core 和 Spark SQL

亮点

ANSI SQL 兼容性增强功能

性能增强功能

  • 没有无序服务的情况下读取主机本地无序数据 (SPARK-32077)
  • 在将节点重新分区之前删除冗余排序 (SPARK-32276)
  • 部分下推谓词(SPARK-32302SPARK-32352
  • 通过展开下推筛选器 (SPARK-33302)
  • 通过 CNF 转换,利用联接推送更多可能的谓词 (SPARK-31705)
  • 通过保留广播哈希联接的输出分区来删除无序 (SPARK-31869)
  • 通过改善重新排序联接键来删除无序 (SPARK-32282)
  • 通过规范化输出分区和排序顺序来删除无序 (SPARK-33399)
  • 无序哈希联接改善 (SPARK-32461)
    • 保留无序哈希联接生成端分区 (SPARK-32330)
    • 保留哈希联接(BHJ 和 SHJ)流端排序 (SPARK-32383)
    • 联合用于排序合并联接的存储表 (SPARK-32286)
    • 为无序哈希联接添加 code-gen (SPARK-32421)
    • 支持在无序哈希联接中进行完全外部联接 (SPARK-32399)
  • 支持全阶段 codegen 项目中的子表达式消除 (SPARK-33092)
  • 支持条件表达式中消除子表达式 (SPARK-33337)
  • 支持已解释表达式计算的子表达式消除 (SPARK-33427)
  • 支持已解释谓词的子表达式消除 (SPARK-33540)
  • 其他优化器规则
    • 规则 ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • 规则 EliminateNullAwareAntiJoin (SPARK-32573)
    • 规则 EliminateAggregateFilter (SPARK-32540)
    • 规则 UnwrapCastInBinaryComparison (SPARK-32858)
    • 规则 DisableUnnecessaryBucketedScan (SPARK-32859)
    • 规则 CoalesceBucketsInJoin (SPARK-31350)
    • 从没有项目的生成中删除不必要的嵌套字段 (SPARK-29721)
    • 从聚合和扩展中删除不必要的嵌套字段 (SPARK-27217)
    • 从按表达式重新分区和联接中删除不必要的嵌套字段 (SPARK-31736)
    • 删除不必要的嵌套字段以修饰变化 (SPARK-32163)
    • 将不必要的嵌套字段从窗口和排序删除 (SPARK-32059)
    • 将 CreateArray/CreateMap 的大小优化为其子级的大小 (SPARK-33544)

扩展性增强功能

  • 在 DataSourceV2 上添加 SupportsPartitions API (SPARK-31694)
  • 在 DataSourceV2 上添加 SupportsMetadataColumns API (SPARK-31255)
  • 将 SQL 缓存序列化可插入 (SPARK-32274)
  • 在v2目录的 TableCatalog.dropTable 中引入 purge 选项 (SPARK-33364)

连接器增强功能

功能增强

其他值得注意的更改

  • 在 Spark 文档站点中提供搜索功能 (SPARK-33166)
  • 将 Apache Arrow 升级到 2.0.0 (SPARK-33213)
  • 在 thrift 服务器中启用 Java 8 时间 API (SPARK-31910)
  • 在 UDF 中启用 Java 8 时间 API (SPARK-32154)
  • 对包含小数的聚合汇总的溢出检查 (SPARK-28067)
  • 修复动态分区覆盖模式下的提交冲突 (SPARK-27194SPARK-29302)
  • 删除对从属、黑名单和白名单的引用 (SPARK-32004SPARK-32036SPARK-32037)
  • 删除无序映射阶段的任务结果大小检查 (SPARK-32470)
  • 通用化 ExecutorSource 以公开用户提供的文件系统方案 (SPARK-33476)
  • 添加 StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • 在执行程序的 Web UI 中公开执行程序的内存指标 (SPARK-23432)
  • 在“阶段”选项卡中的阶段级别上公开执行程序的内存指标 (SPARK-26341)
  • 修复 YARN 群集模式中显式设置的 spark.ui.port (SPARK-29465)
  • 添加 spark.submit.waitForCompletion 配置以控制在独立群集模式下的 spark-submit 退出 (SPARK-31486)
  • 设置 yarn.Client 以打印指向驱动程序 stdout/stderr 的直接链接 (SPARK-33185)
  • 修复存储广播片段失败时的内存泄露 (SPARK-32715)
  • 使 BlockManagerMaster 驱动程序检测信号超时可配置 (SPARK-34278)
  • 统一并完成缓存行为 (SPARK-33507)

PySpark

Project Zen

其他值得注意的更改

  • 删除重复确定性 PythonUDF 调用 (SPARK-33303)
  • 支持 PySpark 函数中的高阶函数 (SPARK-30681)
  • 支持数据源 v2x 写入 API (SPARK-29157)
  • 在 PySpark 函数中支持 percentile_approx (SPARK-30569)
  • 在 PySpark 数据帧中的支持 inputFiles (SPARK-31763)
  • 在 PySpark 列中支持 withField (SPARK-32835)
  • 在 PySpark 列中支持 dropFields (SPARK-32511)
  • 在 PySpark 函数中支持 nth_value (SPARK-33020)
  • 支持 acoshasinhatanh (SPARK-33563)
  • 在 PySpark SparkContext 中支持 getCheckpointDir 方法 (SPARK-33017)
  • 支持在 unionByName 中填充缺少的列的 null 值 (SPARK-32798)
  • 更新 cloudpickle 到 v1.5.0 (SPARK-32094)
  • 使用箭头添加对 PySpark 的 MapType 支持 (SPARK-24554)
  • DataStreamReader.tableDataStreamWriter.toTable (SPARK-33836)

结构化流式处理

性能增强功能

  • 将 maxFilesPerTrigger 之外的文件列表缓存到未读文件 (SPARK-30866)
  • 简化文件流源和接收器元数据日志的逻辑 (SPARK-30462)
  • 如果查询从 compact 批处理重启,请避免读取 compact 元数据日志两次 (SPARK-30900)

功能增强

其他值得注意的更改

  • 引入流式传输状态存储的架构验证 (SPARK-31894)
  • 支持在状态存储中使用不同的压缩编解码器 (SPARK-33263)
  • 由于元数据从未更新,Kafka 连接器无限等待 (SPARK-28367)
  • 将 Kafka 升级到 2.6.0 (SPARK-32568)
  • 对结构化流式处理 UI 页的分页支持(SPARK-31642SPARK-30119
  • 结构化流式处理 UI 中的状态信息 (SPARK-33223)
  • 结构化流式处理 UI 中的水印间隙信息 (SPARK-33224)
  • 在 SS UI 上公开状态自定义指标信息 (SPARK-33287)
  • 添加有关晚于水印的行数的新指标 (SPARK-24634)

MLlib

亮点

  • LinearSVC blockify 输入向量 (SPARK-30642)
  • LogisticRegression blockify 输入向量 (SPARK-30659)
  • LinearRegression blockify 输入向量 (SPARK-30660)
  • AFT blockify 输入向量 (SPARK-31656)
  • 在 ML 中添加对关联规则的支持 (SPARK-19939)
  • 添加 LinearSVCModel 的训练摘要 (SPARK-20249)
  • 将摘要添加到 RandomForestClassificationModel (SPARK-23631)
  • 将训练摘要添加到 FMClassificationModel (SPARK-32140)
  • 将摘要添加到 MultilayerPerceptronClassificationModel (SPARK-32449)
  • 将 FMClassifier 添加到 SparkR (SPARK-30820)
  • 添加 SparkR LinearRegression 包装器 (SPARK-30818)
  • 将 FMRegressor 包装器添加到 SparkR (SPARK-30819)
  • vector_to_array 添加 SparkR 包装器 (SPARK-33040)
  • 自适应 blockify 实例 - LinearSVC (SPARK-32907)
  • 使 CrossValidator/TrainValidateSplit/OneVsRest 读取器/写入器支持 Python 后端估算器/计算器 (SPARK-33520)
  • 通过 GEMV 提高 ML ALS recommendForAll 的性能 (SPARK-33518)
  • 添加 UnivariateFeatureSelector (SPARK-34080)

其他值得注意的更改

  • GMM 在一个作业中计算摘要和更新分发 (SPARK-31032)
  • 删除 mllib.ChiSqSelectorModel 上的 ChiSqSelector 依赖项 (SPARK-31077)
  • 平展 testChiSquare 中测试的结果数据帧 (SPARK-31301)
  • MinHash keyDistance 优化 (SPARK-31436)
  • 基于三角不相等性的 KMeans 优化 (SPARK-31007)
  • 在 ClusteringEvaluator 中添加权重支持 (SPARK-31734)
  • 在计算器中添加 getMetrics (SPARK-31768)
  • 在 LinearRegressionSummary 中添加实例权重支持 (SPARK-31944)
  • 将用户指定的折叠列添加到 CrossValidator (SPARK-31777)
  • ML 参数默认值在功能和优化中的奇偶校验 (SPARK-32310)
  • 修复 KMeans/BiKMeans 中的双重缓存问题 (SPARK-32676)
  • aft 转换优化 (SPARK-33111)
  • FeatureHasher 转换优化 (SPARK-32974)
  • 为数据帧列添加 array_to_vector 函数 (SPARK-33556)
  • 分类、回归、群集和 fpm 中的 ML 参数默认值奇偶校验 (SPARK-32310)
  • Summary.totalIterations 大于 maxIters (SPARK-31925)
  • 树模型预测优化 (SPARK-32298)

SparkR

维护更新

请参阅 Databricks Runtime 8.0 维护更新

系统环境

  • 操作系统:Ubuntu 18.04.5 LTS
  • Java:Zulu 8.50.0.51-CA-linux64(内部版本 1.8.0_275-b01)
  • Scala:2.12.10
  • Python:3.8.8(在 2021 年 5 月 26 日的维护更新中,更新自 3.8.6)
  • R:R 版本 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

已安装的 Python 库

版本 版本 版本
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
密码系统 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0.3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
请求 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
6 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

已安装的 R 库

R 库安装自 2020-11-02 的 Microsoft CRAN 快照。

版本 版本 版本
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
启动 1.3-25 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.0.3 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 凭据 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
datasets 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 评估 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-79 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0.8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-53 矩阵 1.2-18
memoise 1.1.0 方法 4.0.3 mgcv 1.8-33
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
进度 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0.13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 spatial 7.3-11 splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
survival 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0.28 工具 4.0.3
usethis 2.0.0 utf8 1.1.4 utils 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0.4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

已安装的 Java 库和 Scala 库(Scala 2.12 群集版本)

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics 流 (stream) 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 收集器 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity 速度 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52