用于机器学习的 Databricks Runtime 14.2

用于机器学习的 Databricks Runtime 14.2 基于 Databricks Runtime 14.2，为机器学习和数据科学提供了随时可用的环境。 Databricks Runtime ML 包含许多常用的机器学习库，包括 TensorFlow、PyTorch 和 XGBoost。 Databricks Runtime ML 包括 AutoML 工具，可用于自动训练机器学习管道。 Databricks Runtime ML 还支持使用 Horovod 进行分布式深度学习训练。

新增功能和改进

Databricks Runtime 14.2 ML 基于 Databricks Runtime 14.2 构建。 要了解 Databricks Runtime 14.2 中的新增功能（包括 Apache Spark MLlib 和 SparkR），请参阅 Databricks Runtime 14.2 发行说明。

系统环境

Databricks Runtime 14.2 ML 中的系统环境在以下方面不同于 Databricks Runtime 14.2：

• DBUtils：Databricks Runtime ML 不包含库实用工具 (dbutils.library)（旧版）。 请改用 %pip 命令。 请参阅作用域为笔记本的 Python 库。
• 对于 GPU 群集，Databricks Runtime ML 包含以下 NVIDIA GPU 库：
  • CUDA 11.8
  • cuDNN 8.9.0.131-1
  • NCCL 2.15.5
  • TensorRT 8.5.3-1

Databricks Runtime 14.2 ML 包含 XGBoost 1.7.6，它不支持计算功能 5.2 及更低版本的 GPU 群集。

库

以下部分列出了 Databricks Runtime 14.2 ML 中包含的库，这些库不同于 Databricks Runtime 14.2 中包含的库。

本节内容：

• 顶层库
• Python 库
• R 库
• Java 库和 Scala 库（Scala 2.12 群集）

顶层库

Databricks Runtime 14.2 ML 包含以下顶层库：

• GraphFrames
• Horovod 和 HorovodRunner
• MLflow
• PyTorch
• spark-tensorflow-connector
• TensorFlow
• TensorBoard
• Scikit-learn

Python 库

Databricks Runtime 14.2 ML 使用 virtualenv 进行 Python 包管理，并且包含许多常用的 ML 包。

除了以下部分中指定的包外，Databricks Runtime 14.2 ML 还包含以下包：

• hyperopt 0.2.7+db4
• sparkdl 3.0.0_db1
• automl 1.23.0

要在本地 Python 虚拟环境中重现 Databricks Runtime ML Python 环境，请下载 requirements-14.2.txt 文件并运行 pip install -r requirements-14.2.txt。 此命令安装 Databricks Runtime ML 使用的所有开源库，但不安装 Databricks 开发的库，例如 databricks-automl、databricks-feature-store，或 hyperopt 的 Databricks 分支。

CPU 群集上的 Python 库

GPU 群集上的 Python 库

R 库

R 库与 Databricks Runtime 14.2 中的 R 库完全相同。

Java 库和 Scala 库（Scala 2.12 群集）

除了 Databricks Runtime 14.2 中的 Java 库和 Scala 库之外，Databricks Runtime 14.2 ML 还包含以下 JAR：

CPU 群集

GPU 群集