将数据迁移到 Delta Lake
Azure Databricks 提供了简化将 Parquet 和 Iceberg 数据迁移到 Delta Lake 过程的工具。
何时使用 CONVERT TO DELTA
与 CLONE
CONVERT TO DELTA
SQL 命令将 Parquet 和 Iceberg 表一次性转换为外部表。 请参阅转换为 Delta Lake。
对 Parquet 和 Iceberg 的 CLONE
支持扩展了 CONVERT TO DELTA
功能,包括对转换的增量支持。 你可以使用 DEEP CLONE
来创建 Unity Catalog 托管表。 请参阅将 Parquet 表和 Iceberg 表增量克隆到 Delta Lake。
Databricks 建议使用 Unity Catalog 托管表来存储数据,但就地转换提供了许多相同的优势,而无需完全重写所有数据。 如果源系统在迁移期间继续接收更新,Databricks 建议使用 CLONE
。