通过

Azure 数据工厂和 Azure Synapse Analytics 中的 Iceberg 格式

  • 项目

适用于：Azure 数据工厂 Azure Synapse Analytics

若要将数据写入 Iceberg 格式，请按照本文的说明操作。

以下连接器支持 Iceberg 格式：

可以在“复制活动”中使用 Iceberg 数据集。

数据集属性

有关可用于定义数据集的各部分和属性的完整列表，请参阅数据集一文。 本部分提供 Iceberg 格式数据集支持的属性列表。

properties 描述 必需
type 数据集的类型属性必须设置为 Iceberg。 是
location 文件的位置设置。 每个基于文件的连接器在 location 下都有其自己的位置类型和支持的属性。 是

下面是 Azure Data Lake Storage Gen2 上的 Iceberg 数据集示例：

{
    "name": "IcebergDataset",
    "properties": {
        "type": "Iceberg",
        "linkedServiceName": {
            "referenceName": "<Azure Data Lake Storage Gen2 linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring >
        ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobFSLocation",
                "fileSystem": "filesystemname",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

复制活动属性

有关可用于定义活动的各部分和属性的完整列表，请参阅管道一文。 本部分提供 Iceberg 接收器支持的属性列表。

Iceberg 作为接收器

复制活动的 *sink* 节支持以下属性。

属性 描述 必需
type 复制活动源的类型属性必须设置为 IcebergSink。 是
formatSettings 一组属性。 请参阅下面的“Iceberg 写入设置”表。 否
storeSettings 有关如何将数据写入到数据存储的一组属性。 每个基于文件的连接器在 storeSettings 下都有其自身支持的写入设置。 否

formatSettings 下支持的 Iceberg 写入设置：

properties 描述 必需
type formatSettings 的类型必须设置为 IcebergWriteSettings。 是

下面是与带分隔符的文本格式相关的一些常见连接器和格式：

相关内容