面向机器学习的 Databricks Runtime 15.2

用于机器学习的 Databricks Runtime 15.2 基于 Databricks Runtime 15.2，为机器学习和数据科学提供了随时可用的环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具，可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 Horovod 进行分布式深度学习训练。

新增功能和改进

Databricks Runtime 15.2 ML 基于 Databricks Runtime 15.2 构建。 要了解 Databricks Runtime 15.2 中的新增功能（包括 Apache Spark MLlib 和 SparkR），请参阅 Databricks Runtime 15.2 发行说明。

添加 StreamingDataset

StreamingDataset 用于提高对云存储中大型数据集进行训练的速度，降低训练成本，并使其可以缩放。 它预安装在 Databricks Runtime 15.2 ML 中。

Databricks Runtime ML CPU 群集上的 Photon 支持

从 Databricks Runtime 15.2 ML 开始，可以通过在 CPU 群集上启用 Photon 来加速 Spark SQL 和 Spark 数据帧工作负载。

对于机器学习应用程序，Photon 为用例提供了更快的性能，例如：

• 使用 SQL 或数据帧 API 进行数据准备。
• 具有时间点查找功能的特征工程。
• 使用 GraphFrames 执行图分析。

Photon 不会增强 TensorFlow、PyTorch 和 XGBoost 等 Python 库的性能。

Spark RDD API 和 Spark MLlib 与 Photon 的兼容性有限。 使用 Spark RDD 或 Spark MLlib 处理大型数据集时，可能会遇到 Spark 内存问题。 请参阅 Spark 内存问题。

系统环境

Databricks Runtime 15.2 ML 中的系统环境不同于 Databricks Runtime 15.2，如下所示：

• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 12.1
  • cusolver 11.4.5.107-1
  • cupti 12.1
  • cuDNN 8.9.0.131-1
  • NCCL 2.17.1
  • TensorRT 8.6.1.6-1

Libraries

以下部分列出了 Databricks Runtime 15.2 ML 中包含的库，这些库不同于 Databricks Runtime 15.2 中包含的库。

本节内容：

• 顶层库
• Python 库
• R 库
• Java 库和 Scala 库（Scala 2.12 群集）

顶层库

Databricks Runtime 15.2 ML 包含以下顶层库：

• datasets
• GraphFrames
• MLflow
• PyTorch
• spark-tensorflow-connector
• Scikit-learn
• TensorFlow
• TensorBoard
• 转换器

Python 库

Databricks Runtime 15.2 ML 使用 virtualenv 进行 Python 包管理，包含许多常用的 ML 包。

除了以下部分指定的包以外，Databricks Runtime 15.2 ML 还包含以下包：

• hyperopt 0.2.7+db3
• sparkdl 3.0.0_db1
• automl 1.26.0

要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境，请下载 requirements-15.2.txt 文件并运行 pip install -r requirements-15.2.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库，但不安装 Databricks 开发的库，例如 databricks-automl、databricks-feature-engineering，或 hyperopt 的 Databricks 分支。

CPU 群集上的 Python 库

GPU 群集上的 Python 库

R 库

R 库与 Databricks Runtime 15.2 中的 R 库完全相同。

Java 库和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 15.2 中的 Java 库和 Scala 库之外，Databricks Runtime 15.2 ML 还包含以下 JAR：

CPU 群集

GPU 群集