Databricks Runtime 4.0 (EoS)
注意
对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。
Databricks 于 2018 年 3 月发布此版本。
重要
此版本已于 2018 年 11 月 1 日弃用。 有关 Databricks Runtime 弃用策略和计划的详细信息，请参阅 Databricks 支持生命周期。
以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 4.0 的相关信息。
更改和改进
- JSON 数据源现在尝试自动检测编码，而不是假设编码为 UTF-8。 在自动检测失败的情况下，用户可以指定“字符集”选项来强制执行某种编码。 请参阅字符集自动检测。
- 完全支持在结构化流中使用 Spark MLlib 管道进行评分和预测。
- 完全支持 Databricks ML 模型导出。 借助此功能，可以在 Databricks 上训练 Spark MLlib 模型，使用函数调用导出该模型，并使用所选系统中的 Databricks 库导入模型并给新数据评分。
- 新的 Spark 数据源实现提供对 Azure Synapse Analytics 的可缩放的读/写访问权限。 请参阅 Spark - Synapse Analytics 连接器。
from_json函数的架构始终转换为可为空的函数。 换句话说，所有字段（包括嵌套字段）都可为空。 这可确保数据与架构兼容，当数据中缺少某个字段且用户提供的架构将字段声明为不可为空时，可防止在将数据写入 parquet 后发生损坏。- 升级了一些已安装的 Python 库：
- futures：从 3.1.1 升级到 3.2.0
- pandas：从 0.18.1 升级到 0.19.2
- pyarrow：从 0.4.1 升级到 0.8.0
- setuptools：从 38.2.3 升级到 38.5.1
- tornado：4.5.2 升级到4.5.3
- 升级了多个已安装的 R 库。 请参阅已安装的 R 库。
- 已将 AWS Java SDK 从 1.11.126 升级到 1.11.253。
- 已将 SQL Server JDBC 驱动程序从 6.1.0.jre8 升级到 6.2.2.jre8。
- 已将 PostgreSQL JDBC 驱动程序从 9.4-1204-jdbc41 升级到 42.1.4。
Apache Spark
Databricks Runtime 4.0 包括 Apache Spark 2.3.0。
Core、PySpark 和 Spark SQL
主要功能
- 向量化 ORC 读取器：[SPARK-16060]：添加对新的 ORC 读取器的支持，通过向量化（2-5 倍）大幅提高 ORC 扫描吞吐量。 若要启用读取器，用户可以将
spark.sql.orc.impl设置为native。 - Spark History Server V2：[SPARK-18085]：新的 spark 历史记录服务器 (SHS) 后端，通过更高效的事件存储机制为大型应用程序提供更好的可缩放性。
- 数据源 API V2：[SPARK-15689][SPARK-22386]：用于在 Spark 中插入新数据源的实验性 API。 新的 API 试图解决 V1 API 的几个限制，旨在促进高性能、易于维护和可扩展的外部数据源的开发。 此 API 仍在紧密开发中，预期会进行重大更改。
- PySpark 性能增强功能：[SPARK-22216][SPARK-21187]：通过快速数据序列化和向量化执行，显著改进了 Python 的性能和互操作性。
性能和稳定性
- [SPARK-21975]：基于成本的优化器中的直方图支持。
- [SPARK-20331]：更好地支持 Hive 分区修剪的谓词下推。
- [SPARK-19112]：支持 Zstandard 压缩编解码器。
- [SPARK-21113]：支持提前读取输入流，以摊销溢出读取器中的磁盘 I/O 成本。
- [SPARK-22510][SPARK-22692][SPARK-21871]：进一步稳定 codegen 框架，避免在 Java 方法上达到 64KB JVM 字节码限制以及 Java 编译器常量池限制。
- [SPARK-23207]：修复了 Spark 中长期存在的一个 bug，由于该 bug 的原因，数据帧上的连续随机选择和重新分区可能导致某些手术案例的答案不正确。
- [SPARK-22062][SPARK-17788][SPARK-21907]：解决 OOM 的各种原因。
- [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]：基于规则的优化器和规划器的增强功能。
其他值得注意的更改
- [SPARK-20236]：支持 Hive 样式动态分区覆盖语义。
- [SPARK-4131]：支持
INSERT OVERWRITE DIRECTORY通过查询直接将数据写入文件系统。 - [SPARK-19285][SPARK-22945][SPARK-21499][SPARK-20586][SPARK-20416][SPARK-20668]：UDF 增强功能。
- [SPARK-20463][SPARK-19951][SPARK-22934][SPARK-21055][SPARK-17729][SPARK-20962][SPARK-20963][SPARK-20841][SPARK-17642][SPARK-22475][SPARK-22934]：已改进 ANSI SQL 合规性和 Hive 兼容性。
- [SPARK-20746]：更全面的 SQL 内置函数。
- [SPARK-21485]：适用于内置函数的 Spark SQL 文档生成。
- [SPARK-19810]：删除对 Scala
2.10的支持。 - [SPARK-22324]：将 Arrow 升级到
0.8.0，将 Netty 升级到4.1.17。
结构化流式处理
连续处理
- 一种新的执行引擎，只需更改一行用户代码，就可以将流式处理查询的端到端延迟减少到亚毫秒级别。 有关详细信息，请参阅编程指南。
流之间的联接
- 能够联接两个数据流，同时缓冲行，直到匹配的元组到达另一个流。 谓词可用于针对事件时间列绑定需要保留的状态量。
流式处理 API V2
- 用于插入适用于批处理、微批处理和连续执行的新源和接收器的实验性 API。 此 API 仍在进行主动开发，预期将发生重大更改。
MLlib
要点
- ML 预测现在使用更新的 API 与结构化流一起使用。 下面提供了详细信息。
已改进的新 API
- [SPARK-21866]：将图像读取到数据帧的内置支持 (Scala/Java/Python)。
- [SPARK-19634]：用于对矢量列进行描述性汇总统计信息 (Scala/Java) 的数据帧函数。
- [SPARK-14516]：用于优化群集算法的
ClusteringEvaluator，支持余弦剪影和方形欧几里得剪影指标 (Scala/Java/Python)。 - [SPARK-3181]：Huber loss 的强大线性回归 (Scala/Java/Python)。
- [SPARK-13969]：
FeatureHasher转换器 (Scala/Java/Python)。 - 多个功能转换器的多列支持：
- [SPARK-13030]：
OneHotEncoderEstimator(Scala/Java/Python) - [SPARK-22397]:
QuantileDiscretizer(Scala/Java) - [SPARK-20542]:
Bucketizer(Scala/Java/Python)
- [SPARK-13030]：
- [SPARK-21633] 和 SPARK-21542]：改进了对 Python 中自定义管道组件的支持。
新功能
- [SPARK-21087]：
CrossValidator和TrainValidationSplit在拟合时可收集所有模型 (Scala/Java)。 这使你可以检查或保存所有拟合的型号。 - [SPARK-19357]：元算法
CrossValidator、TrainValidationSplit和OneVsRest支持在并行 Spark 作业中拟合多个子模型时使用并行度参数。 - [SPARK-17139]：多项式逻辑回归模型摘要 (Scala/Java/Python)
- [SPARK-18710]：添加了 GLM 中的偏移量。
- [SPARK-20199]：已将
featureSubsetStrategy参数添加到GBTClassifier和GBTRegressor。 使用此功能可以显著提升训练速度；此选项是xgboost的主要优势。
其他值得注意的更改
- [SPARK-22156]：已修复
num迭代的Word2Vec学习速率缩放。 新的学习速率设置为与原始Word2VecC 代码匹配，应能提供更好的训练结果。 - [SPARK-22289]：添加对矩阵参数的
JSON支持（这解决了在系数上使用边界时LogisticRegressionModel的一个 ML 持久性 bug。） - [SPARK-22700]：
Bucketizer.transform错误删除了包含NaN的行。 当参数handleInvalid设置为“skip”时，如果另一个（不相关的）列具有NaN值，则Bucketizer将删除输入列中具有有效值的行。 - [SPARK-22446]：当
handleInvalid设置为“error”时，Catalyst 优化器有时会导致StringIndexerModel引发不正确的“标签不可见”异常。由于谓词下推，筛选的数据可能会发生这种情况，即使在从输入数据集中筛选出无效行后，也会导致错误。 - [SPARK-21681]：解决了多项式逻辑回归中的一个边缘案例 bug：导致某些功能零方差时系数不正确。
- 主要优化：
- [SPARK-22707]：已降低
CrossValidator的内存消耗。 - [SPARK-22949]：已降低
TrainValidationSplit的内存消耗。 - [SPARK-21690]：
Imputer应使用单个传递数据来进行训练。 - [SPARK-14371]：
OnlineLDAOptimizer避免将每个小型批处理的统计信息收集到驱动程序。
- [SPARK-22707]：已降低
SparkR
SparkR 在 2.3.0 版本中的重点改进是提升 UDF 的稳定性，并在现有 API 周围添加几个新的 SparkR 包装器：
主要功能
- 已改进 SQL 和 R 之间的函数奇偶校验
- [SPARK-22933]：
withWatermark、trigger、partitionBy的结构化处理 API 和流间联接。 - [SPARK-21266]：具有 DDL 格式架构支持的 SparkR UDF。
- [SPARK-20726][SPARK-22924][SPARK-22843]：几个新的数据帧 API 包装器。
- [SPARK-15767][SPARK-21622][SPARK-20917][SPARK-20307][SPARK-20906]：几个新的 SparkML API 包装器。
GraphX
优化
- [SPARK-5484]：Pregel 现在定期检查点以避免
StackOverflowErrors。 - [SPARK-21491]：若干处小的性能改进。
弃用功能
Python
- [SPARK-23122]：弃用
SQLContext中 UDF 和 PySpark 中Catalog的register*
MLlib
- [SPARK-13030]：已弃用
OneHotEncoder，并将在 3.0 中删除它。 该版本已替换为新OneHotEncoderEstimator。OneHotEncoderEstimator将在 3.0 中重命名为OneHotEncoder（但OneHotEncoderEstimator将保留为别名）。
行为变更
SparkSQL
- [SPARK-22036]：默认情况下，如果无法提供准确的表示形式，则小数之间的算术运算返回舍入值（而不是像以前的版本那样返回
NULL） - [SPARK-22937]：当所有输入都是二进制的时，SQL
elt()将以二进制形式返回输出。 否则，它将以字符串形式返回。 在以前的版本中，无论输入类型如何，它始终以字符串格式返回。 - [SPARK-22895]：如果可能，第一个非确定性谓词之后的 Join/Filter 的确定性谓词也会下推/通过子运算符。 在以前的版本中，这些筛选器不符合谓词下推条件。
- [SPARK-22771]：当所有输入都是二进制的时，
functions.concat()将以二进制形式返回输出。 否则，它将以字符串形式返回。 在以前的版本中，无论输入类型如何，它始终以字符串格式返回。 - [SPARK-22489]：当任一联接方都可广播时，我们倾向于广播在广播提示中显式指定的表。
- [SPARK-22165]：分区列推理以前发现不同推断类型的通用类型不正确。 例如，以前它最终将
double类型作为double类型和date类型的通用类型。 现在，它找到了此类冲突的正确常见类型。 有关详细信息，请参阅迁移指南。 - [SPARK-22100]：
percentile_approx函数之前接受numeric类型输入和输出的double类型结果。 现在它支持date类型、timestamp类型和numeric类型作为输入类型。 结果类型也更改为与输入类型相同，对于百分位数来说，这更合理。 - [SPARK-21610]：当引用的列仅包含内部的损坏记录列（默认情况下名为
_corrupt_record）时，不允许来自原始 JSON/CSV 文件的查询。 而是可以缓存或保存分析的结果，然后发送相同的查询。 - [SPARK-23421]：从 Spark 2.2.1 和 2.3.0 开始，当数据源表同时具有分区架构和数据架构中都含有的列时，架构始终在运行时进行推断。 推断的架构没有分区列。 读取表时，Spark 会以这些重叠列的分区值为准，而不是存储在数据源文件中的值。 在 2.2.0 和 2.1.x 版本中，对推断的架构进行了分区，但表中的数据对用户不可见（即结果集为空）。
PySpark
- [SPARK-19732]：
na.fill()或fillna也接受布尔值，并将 null 替换为布尔值。 在以前的 Spark 版本中，PySpark 直接忽略它并返回原始数据集/数据帧。 - [SPARK-22395]：使用pandas 相关的功能（如 Pandas 数据帧的
toPandas、createDataFrame等）时需要 pandas0.19.2或以上版本。 - [SPARK-22395]：Pandas 相关功能时间戳值的行为已更改为遵循会话时区，以前的版本会忽略此项。
- [SPARK-23328]：当
to_replace不是字典时，df.replace不允许忽略value。 以前，在其他情况下可以省略value，默认情况下存在None，这与常识不符且容易出错。
MLlib
- 重大 API 更改：对逻辑回归模型摘要的类和特征层次结构进行了优化，多类摘要的添加变得更简洁、性能更好。 这是将
LogisticRegressionTrainingSummary转换为BinaryLogisticRegressionTrainingSummary的用户代码的重大更改。 用户应改为使用model.binarySummary方法。 请参阅 [SPARK-17139]：获取详细信息（请注意这是@ExperimentalAPI）。 这不会影响 Python 摘要方法，该方法仍适用于多项式和二进制情况。 - [SPARK-21806]：
BinaryClassificationMetrics.pr()：第一个点 (0.0, 1.0) 存在误导性，已替换为 (0.0, p)，其中精度 p 与最小撤回点匹配。 - [SPARK-16957]：在选择拆分值时，决策树现在使用加权中点。 这可能会改变模型训练的结果。
- [SPARK-14657]：没有截距的
RFormula现在在编码字符串术语时输出引用类别，以便匹配本机 R 行为。 这可能会改变模型训练的结果。 - [SPARK-21027]：
OneVsRest中使用的默认并行度现在设置为 1（即串行）。 在 2.2 和更早版本中，并行级别设置为 Scala 中的默认线程池大小。 这可能会更改性能。 - [SPARK-21523]：已将 Breeze 升级到
0.13.2。 这包括对 L-BFGS 的强大 Wolfe 行搜索中的一个重要 bug 修补程序。 - [SPARK-15526]：JPMML 依赖项现在已着色。
- 另请参阅“Bug 修复”部分，了解因修复 bug 导致的行为更改。
已知问题
- [SPARK-23523][SQL]：由规则
OptimizeMetadataOnlyQuery引起的结果不正确。 - [SPARK-23406]：流到流自联接中的 Bug。
维护更新
请参阅 Databricks Runtime 4.0 维护更新。
系统环境
- 操作系统：Ubuntu 16.04.4 LTS
- Java：1.8.0_151
- Scala：2.11.8
- Python：2.7.12（如果使用 Python 3，则为 3.5.2）
- R：R 版本 3.4.3 (2017-11-30)
- GPU 群集：安装了以下 NVIDIA GPU 库：
- Tesla 驱动程序 375.66
- CUDA 8.0
- CUDNN 6.0
已安装的 Python 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| 密码系统 | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0.14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Future | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0.999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 9.0.1 | ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| 请求 | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0.32 | seaborn | 0.7.1 |
| setuptools | 38.5.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | 6 | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 4.5.3 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 15.0.1 | wcwidth | 0.1.7 | wheel | 0.30.0 |
| wsgiref | 0.1.2 |
已安装的 R 库
| 库 | 版本 | 库 | 版本 | 库 | 版本 |
|---|---|---|---|---|---|
| abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.1 |
| base | 3.4.3 | BH | 1.65.0-1 | bindr | 0.1 |
| bindrcpp | 0.2 | bit | 1.1-12 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.0 | 启动 | 1.3-20 |
| brew | 1.0-6 | broom | 0.4.3 | 汽车 | 2.1-6 |
| caret | 6.0-77 | chron | 2.3-51 | class | 7.3-14 |
| cluster | 2.0.6 | codetools | 0.2-15 | colorspace | 1.3-2 |
| commonmark | 1.4 | compiler | 3.4.3 | crayon | 1.3.4 |
| curl | 3.0 | CVST | 0.2-1 | data.table | 1.10.4-3 |
| datasets | 3.4.3 | DBI | 0.7 | ddalpha | 1.3.1 |
| DEoptimR | 1.0-8 | desc | 1.1.1 | devtools | 1.13.4 |
| dichromat | 2.0-0 | digest | 0.6.12 | dimRed | 0.1.0 |
| doMC | 1.3.4 | dplyr | 0.7.4 | DRR | 0.0.2 |
| foreach | 1.4.3 | foreign | 0.8-69 | gbm | 2.1.3 |
| ggplot2 | 2.2.1 | git2r | 0.19.0 | glmnet | 2.0-13 |
| glue | 1.2.0 | gower | 0.1.2 | graphics | 3.4.3 |
| grDevices | 3.4.3 | grid | 3.4.3 | gsubfn | 0.6-6 |
| gtable | 0.2.0 | h2o | 3.16.0.1 | httr | 1.3.1 |
| hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
| iterators | 1.0.8 | jsonlite | 1.5 | kernlab | 0.9-25 |
| KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
| lava | 1.5.1 | lazyeval | 0.2.1 | littler | 0.3.2 |
| lme4 | 1.1-14 | lubridate | 1.7.1 | magrittr | 1.5 |
| mapproj | 1.2-5 | maps | 3.2.0 | MASS | 7.3-48 |
| 矩阵 | 1.2-11 | MatrixModels | 0.4-1 | memoise | 1.1.0 |
| 方法 | 3.4.3 | mgcv | 1.8-23 | mime | 0.5 |
| minqa | 1.2.4 | mnormt | 1.5-5 | ModelMetrics | 1.1.0 |
| munsell | 0.4.3 | mvtnorm | 1.0-6 | nlme | 3.1-131 |
| nloptr | 1.0.4 | nnet | 7.3-12 | numDeriv | 2016.8-1 |
| openssl | 0.9.9 | parallel | 3.4.3 | pbkrtest | 0.4-7 |
| pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.1-1 |
| plyr | 1.8.4 | praise | 1.0.0 | pROC | 1.10.0 |
| prodlim | 1.6.1 | proto | 1.0.0 | psych | 1.7.8 |
| purrr | 0.2.4 | quantreg | 5.34 | R.methodsS3 | 1.7.1 |
| R.oo | 1.21.0 | R.utils | 2.6.0 | R6 | 2.2.2 |
| randomForest | 4.6-12 | RColorBrewer | 1.1-2 | Rcpp | 0.12.14 |
| RcppEigen | 0.3.3.3.1 | RcppRoll | 0.2.2 | RCurl | 1.95-4.8 |
| recipes | 0.1.1 | reshape2 | 1.4.2 | rlang | 0.1.4 |
| robustbase | 0.92-8 | RODBC | 1.3-15 | roxygen2 | 6.0.1 |
| rpart | 4.1-12 | rprojroot | 1.2 | Rserve | 1.7-3 |
| RSQLite | 2.0 | rstudioapi | 0.7 | scales | 0.5.0 |
| sfsmisc | 1.1-1 | sp | 1.2-5 | SparkR | 2.3.0 |
| SparseM | 1.77 | spatial | 7.3-11 | splines | 3.4.3 |
| sqldf | 0.4-11 | statmod | 1.4.30 | stats | 3.4.3 |
| stats4 | 3.4.3 | stringi | 1.1.6 | stringr | 1.2.0 |
| survival | 2.41-3 | tcltk | 3.4.3 | TeachingDemos | 2.10 |
| testthat | 1.0.2 | tibble | 1.3.4 | tidyr | 0.7.2 |
| tidyselect | 0.2.3 | timeDate | 3042.101 | 工具 | 3.4.3 |
| utils | 3.4.3 | viridisLite | 0.2.0 | whisker | 0.3-2 |
| withr | 2.1.0 | xml2 | 1.1.1 |
已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）
| 组 ID | 项目 ID | 版本 |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.7.3 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.253 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.253 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.253 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.253 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.253 |
| com.amazonaws | aws-java-sdk-config | 1.11.253 |
| com.amazonaws | aws-java-sdk-core | 1.11.253 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.253 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.253 |
| com.amazonaws | aws-java-sdk-directory | 1.11.253 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.253 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.253 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.253 |
| com.amazonaws | aws-java-sdk-efs | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.253 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.253 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.253 |
| com.amazonaws | aws-java-sdk-emr | 1.11.253 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.253 |
| com.amazonaws | aws-java-sdk-iam | 1.11.253 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.253 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.253 |
| com.amazonaws | aws-java-sdk-kms | 1.11.253 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.253 |
| com.amazonaws | aws-java-sdk-logs | 1.11.253 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.253 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.253 |
| com.amazonaws | aws-java-sdk-rds | 1.11.253 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.253 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.253 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.253 |
| com.amazonaws | aws-java-sdk-ses | 1.11.253 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.253 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.253 |
| com.amazonaws | aws-java-sdk-sns | 1.11.253 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.253 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.253 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.253 |
| com.amazonaws | aws-java-sdk-sts | 1.11.253 |
| com.amazonaws | aws-java-sdk-support | 1.11.253 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.253 |
| com.amazonaws | jmespath-java | 1.11.253 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | 流 (stream) | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.3.0-db1-spark2.3 |
| com.databricks | dbml-local_2.11-tests | 0.3.0-db1-spark2.3 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-shaded | 3.0.3 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jamesmurty.utils | java-xmlbuilder | 1.1 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.mchange | c3p0 | 0.9.5.1 |
| com.mchange | mchange-commons-java | 0.2.10 |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.0.11 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.8.4 |
| com.twitter | chill_2.11 | 0.8.4 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.5.9 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 2.4.1 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 2.2 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.8 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | 收集器 | 0.7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.11 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.iharder | base64 | 2.3.8 |
| net.java.dev.jets3t | jets3t | 0.9.4 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.8.0 |
| org.apache.arrow | arrow-memory | 0.8.0 |
| org.apache.arrow | arrow-vector | 0.8.0 |
| org.apache.avro | avro | 1.7.7 |
| org.apache.avro | avro-ipc | 1.7.7 |
| org.apache.avro | avro-ipc-tests | 1.7.7 |
| org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.4.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.4.1 |
| org.apache.orc | orc-mapreduce-nohive | 1.4.1 |
| org.apache.parquet | parquet-column | 1.8.2-databricks1 |
| org.apache.parquet | parquet-common | 1.8.2-databricks1 |
| org.apache.parquet | parquet-encoding | 1.8.2-databricks1 |
| org.apache.parquet | parquet-format | 2.3.1 |
| org.apache.parquet | parquet-hadoop | 1.8.2-databricks1 |
| org.apache.parquet | parquet-jackson | 1.8.2-databricks1 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm5-shaded | 4.4 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.bouncycastle | bcprov-jdk15on | 1.58 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.8 |
| org.codehaus.janino | janino | 3.0.8 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.2.11 |
| org.json4s | json4s-core_2.11 | 3.2.11 |
| org.json4s | json4s-jackson_2.11 | 3.2.11 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.5.11 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.8 |
| org.scala-lang | scala-library_2.11 | 2.11.8 |
| org.scala-lang | scala-reflect_2.11 | 2.11.8 |
| org.scala-lang | scalap_2.11 | 2.11.8 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 2.2.6 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-exec | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | unused | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.0 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.2.6 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |