将数据引入 Databricks 湖屋
Azure Databricks 提供了各种方法来将数据从各种来源引入到由 Delta Lake 支持的湖屋中。 本文列出了数据源,并提供用于从每种源类型引入数据的步骤的链接。
云对象存储
要了解如何从云对象存储配置增量引入,请参阅从云对象存储引入数据。
LakeFlow Connect
Databricks LakeFlow Connect 提供了用于从企业应用程序和数据库引入数据的原生连接器。 最终的引入管道由 Unity Catalog 管理,并由无服务器计算和增量实时表提供支持。
LakeFlow Connect 利用高效的增量读写来使数据引入变得更快、更具可伸缩性、更具经济效益,同时使数据保持新鲜以供下游使用。
流式处理源
Azure Databricks 可以与流式消息传递服务集成,以将近乎实时的数据引入湖屋。 请参阅流式处理和增量引入。
本地数据文件
你可以安全地上传本地数据文件,也可以从公共 URL 下载文件。 请参阅将文件上传到 Azure Databricks。
将数据迁移到 Delta Lake
要了解如何将现有数据迁移到 Delta Lake,请参阅将数据迁移到 Delta Lake。