通过

Databricks Runtime 5.0 (EoS)

  • 项目

注意

对此 Databricks Runtime 版本的支持已结束。 有关终止支持日期，请参阅终止支持历史记录。 有关所有受支持的 Databricks Runtime 版本，请参阅 Databricks Runtime 发行说明版本和兼容性。

Databricks 于 2018 年 11 月发布此版本。

以下发行说明提供了由 Apache Spark 支持的 Databricks Runtime 5.0 的相关信息。

新功能

  • Delta Lake

    • 现在，WHERE 子句中支持子查询，以支持 DELETE 和 UPDATE 命令。
    • MERGE 命令的新的可缩放实现。

  • 结构化流式处理

    • 基于 Azure Blob 存储文件通知的流式处理源。 当对 Azure Blob 存储中的文件运行结构化流式处理查询时，这可以显著降低列表成本。 无需使用列表来查找要处理的新文件，此流式处理源可以直接读取文件事件通知以查找新文件。 请参阅具有 Azure 队列存储（旧版）的 Azure Blob 存储文件源。

  • 添加了对 TensorBoard 的支持，用于监视深度学习作业。 请参阅 TensorBoard。

改进

  • Delta Lake
    • OPTIMIZE 性能和稳定性。
      • OPTIMIZE 命令将尽快提交批处理，而不是在结束时提交。
      • 减小 OPTIMIZE 并行运行的线程的默认数目。 对于大型表，这是一种严格的性能提升。
      • 通过在写入已分区表时避免对数据进行不必要的排序，加速 OPTIMIZE 写入。
      • 通过使其递增来加速 OPTIMIZE ZORDER BY。 这意味着该命令现在可以避免重写已按相同列进行 Z 排序的数据文件。 请参阅 Delta Lake 的跳过数据。
    • 查询 Delta 表时的快照隔离。 任何具有对 Delta 表的多个引用的查询（例如自联接）都从同一个表快照读取，即使该表存在并发更新。
    • 通过在驱动程序上缓存元数据，改善了从小型（< 2000 文件）Delta 表中进行读取时的查询延迟。
  • 改进了 MLlib 逻辑回归性能。
  • 改进了 MLlib 树算法性能。
  • 升级了几个 Java 库和 Scala 库。 请参阅已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）。
  • 升级了一些已安装的 Python 库：
    • pip：10.0.1 到 18.0
    • setuptools：39.2.0 到 40.4.1
    • tornado：5.0.2 到 5.1.1
  • 升级了多个已安装的 R 库。 请参阅已安装的 R 库。

缺陷修复

  • Delta Lake
    • 现在，在 SQL 配置中设置的配置可以正确地应用于最初加载到其他笔记本中的 Delta Lake 操作。
    • 修复了 DELETE 命令中的 bug，该 bug 会错误地删除条件评估为 null 的行。
    • 尝试从检查点恢复时，花费两天以上的时间来处理初始批处理的流（即，流启动时表中的数据）不再因 FileNotFoundException 而失败。
    • 避免在加载新表时会导致 NoClassDefError 的争用条件。
    • 修复了 VACUUM 中可能导致操作失败并出现 AssertionError（显示“此处不应有任何用于删除的绝对路径”）的问题。
    • 修复了 SHOW CREATE TABLE 命令以不包括 Hive 生成的存储属性。
  • 现在会自动重启引发内部 Spark 类出现许多 NoClassDefFoundError 错误的执行程序，以解决此问题。

已知问题

  • 即使启用了不区分大小写（默认设置），在 Delta Lake 中 overwrite 模式的 replaceWhere 选项中指定的列名也是区分大小写的。
  • Databricks Runtime 5.0 的 Snowflake 连接器处于预览版。
  • 如果取消了附加到 Databricks Runtime 5.0 群集的笔记本中正在运行的流式处理单元，则无法在笔记本中运行任何后续命令，除非清除笔记本状态或重启该群集。 有关解决方法，请参阅知识库。

Apache Spark

Databricks Runtime 5.0 包括 Apache Spark 2.4.0。

Core 和 Spark SQL

注意

本文包含对术语“从属”的引用，Azure Databricks 不再使用该术语。 在从软件中删除该术语后，我们会将其从本文中删除。

主要功能

  • 屏障执行模式：[SPARK-24374] 支持计划程序中的屏障执行模式，以更好地与深度学习框架集成。
  • Scala 2.12 支持：[SPARK-14220] 添加实验性 Scala 2.12 支持。 现在，可以通过 Scala 2.12 构建 Spark，并在 Scala 2.12 中编写 Spark 应用程序。
  • 高阶函数：[SPARK-23899] 添加许多新的内置函数（包括高阶函数），以便更轻松地处理复杂数据类型。 请参阅 Apache Spark 内置函数。
  • 内置 Avro 数据源：[SPARK-24768] 具有逻辑类型支持、更好的性能和可用性的内联 Spark-Avro 包。

API

性能和稳定性

连接器

PySpark

其他值得注意的更改

结构化流式处理

主要功能

  • [SPARK-24565] 使用 foreachBatch（Python、Scala 和 Java）以数据帧的形式公开每个微批处理的输出行
  • [SPARK-24396] 为 foreach 和 ForeachWriter 添加了 Python API
  • [SPARK-25005] 支持“kafka.isolation.level”以仅读取使用事务生成器编写的 Kafka 主题中的已提交记录。

其他值得注意的更改

  • [SPARK-24662] 支持 LIMIT 运算符用于 Append 或 Complete 模式下的流
  • [SPARK-24763] 从流式处理聚合的值中删除冗余的密钥数据
  • [SPARK-24156] 当输入流中没有数据时，使用状态操作（mapGroupsWithState、流流联接、流式处理聚合、流式处理 dropDuplicates）可以更快地生成输出结果和/或清除状态。
  • [SPARK-24730] 支持在查询中存在多个输入流时选择最小或最大的水印
  • [SPARK-25399] 修复了在重用来自连续处理的执行线程以进行微批处理流式处理可能会导致准确性问题的 bug
  • [SPARK-18057] 将 Kafka 客户端版本从 0.10.0.1 升级到 2.0.0

MLlib

主要功能

其他值得注意的更改

SparkR

GraphX

  • [SPARK-25268] 运行并行个性化 PageRank 引发序列化异常

弃用功能

行为变更

  • [SPARK-23549] 将时间戳与日期进行比较时强制转换为时间戳
  • [SPARK-24324] pandas 分组的映射 UDF 应按名称分配结果列
  • [SPARK-25088] Rest 服务器默认和文档更新
  • [SPARK-23425] 为使用通配符的 hdfs 文件路径加载数据未正常工作
  • [SPARK-23173] from_json 可以为标记为不可为 null 的字段产生 null 值
  • [SPARK-24966] 实现设置操作的优先规则
  • [SPARK-25708] 没有 GROUP BY 的 HAVING 应为全局汇总
  • [SPARK-24341] 正确处理多值 IN 子查询
  • [SPARK-19724] 创建具有已存在默认位置的托管表应引发异常

已知问题

  • [SPARK-25793] 加载 BisectingKMeans 中的模型 bug
  • [SPARK-25271] 具有 Hive parquet 表的 CTAS 应利用本机 parquet 源
  • [SPARK-24935] 执行 Hive UDAF 出现问题是从 Spark 2.2 开始的

维护更新

请参阅 Databricks Runtime 5.0 维护更新。

系统环境

  • 操作系统：Ubuntu 16.04.5 LTS
  • Java：1.8.0_162
  • Scala：2.11.8
  • Python：2.7.12 适用于 Python 2 群集，3.5.2 适用于 Python 3 群集。
  • R：R 版本 3.4.4 (2018-03-15)
  • GPU 群集：安装了以下 NVIDIA GPU 库：
    • Tesla 驱动程序 375.66
    • CUDA 9.0
    • cuDNN 7.0

注意

尽管 Apache Spark 2.4 支持 Scala 2.12，但 Databricks Runtime 5.0 不支持。

已安装的 Python 库

库 版本 库 版本 库 版本
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
密码系统 1.5 cycler 0.10.0 Cython 0.24.1
decorator 4.0.10 docutils 0.14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Future 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Pillow 3.3.1
pip 18.0 ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
请求 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 scour 0.32 seaborn 0.7.1
setuptools 40.4.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 6 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 wheel 0.31.1
wsgiref 0.1.2

已安装的 R 库

库 版本 库 版本 库 版本
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
base 3.4.4 base64enc 0.1-3 BH 1.66.0-1
bindr 0.1.1 bindrcpp 0.2.2 bit 1.1-14
bit64 0.9-7 bitops 1.0-6 blob 1.1.1
boot 1.3-20 brew 1.0-6 broom 0.5.0
callr 3.0.0 car 3.0-2 carData 3.0-1
caret 6.0-80 cellranger 1.1.0 chron 2.3-52
class 7.3-14 cli 1.0.0 cluster 2.0.7-1
codetools 0.2-15 colorspace 1.3-2 commonmark 1.5
compiler 3.4.4 crayon 1.3.4 curl 3.2
CVST 0.2-2 data.table 1.11.4 datasets 3.4.4
DBI 1.0.0 ddalpha 1.3.4 DEoptimR 1.0-8
desc 1.2.0 devtools 1.13.6 digest 0.6.16
dimRed 0.1.0 doMC 1.3.5 dplyr 0.7.6
DRR 0.0.3 fansi 0.3.0 forcats 0.3.0
foreach 1.4.4 foreign 0.8-70 gbm 2.1.3
geometry 0.3-6 ggplot2 3.0.0 git2r 0.23.0
glmnet 2.0-16 glue 1.3.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.20.0.2
haven 1.1.2 hms 0.4.2 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-7
iterators 1.0.10 jsonlite 1.5 kernlab 0.9-27
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.3 lazyeval 0.2.1 littler 0.3.4
lme4 1.1-18-1 lubridate 1.7.4 magic 1.5-8
magrittr 1.5 mapproj 1.2.6 maps 3.3.0
maptools 0.9-3 MASS 7.3-50 矩阵 1.2-14
MatrixModels 0.4-1 memoise 1.1.0 methods 3.4.4
mgcv 1.8-24 mime 0.5 minqa 1.2.4
ModelMetrics 1.2.0 munsell 0.5.0 mvtnorm 1.0-8
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.2 openxlsx 4.1.0
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.3.0
pkgbuild 1.0.0 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.0 plogr 0.2.0 pls 2.7-0
plyr 1.8.4 praise 1.0.0 prettyunits 1.0.2
pROC 1.12.1 processx 3.2.0 prodlim 2018.04.18
proto 1.0.0 ps 1.1.0 purrr 0.2.5
quantreg 5.36 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.7.0 R6 2.2.2 randomForest 4.6-14
RColorBrewer 1.1-2 Rcpp 0.12.18 RcppEigen 0.3.3.4.0
RcppRoll 0.3.0 RCurl 1.95-4.11 readr 1.1.1
readxl 1.1.0 recipes 0.1.3 rematch 1.0.1
reshape2 1.4.3 rio 0.5.10 rlang 0.2.2
robustbase 0.93-2 RODBC 1.3-15 roxygen2 6.1.0
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.7-3
RSQLite 2.1.1 rstudioapi 0.7 scales 1.0.0
sfsmisc 1.1-2 sp 1.3-1 SparkR 2.4.0
SparseM 1.77 spatial 7.3-11 splines 3.4.4
sqldf 0.4-11 SQUAREM 2017.10-1 statmod 1.4.30
stats 3.4.4 stats4 3.4.4 stringi 1.2.4
stringr 1.3.1 survival 2.42-6 tcltk 3.4.4
TeachingDemos 2.10 testthat 2.0.0 tibble 1.4.2
tidyr 0.8.1 tidyselect 0.2.4 timeDate 3043.102
tools 3.4.4 utf8 1.1.4 utils 3.4.4
viridisLite 0.3.0 whisker 0.3-2 withr 2.1.2
xml2 1.2.0 zip 1.0.0

已安装的 Java 库和 Scala 库（Scala 2.11 群集版本）

组 ID 项目 ID 版本
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics 流 (stream) 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db7-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db7-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.0.0
com.fasterxml.jackson.core jackson-annotations 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx 收集器 0.7
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.4.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.10.0
org.apache.arrow arrow-memory 0.10.0
org.apache.arrow arrow-vector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parquet-column 1.10.1-databricks2
org.apache.parquet parquet-common 1.10.1-databricks2
org.apache.parquet parquet-encoding 1.10.1-databricks2
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks2
org.apache.parquet parquet-jackson 1.10.1-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-shaded 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.9
org.codehaus.janino janino 3.0.9
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-continuation 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate hibernate-validator 5.1.1.Final
org.iq80.snappy snappy 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark unused 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52