通过

数据引入属性

  • 项目

适用于：✅Azure 数据资源管理器

数据引入是指将数据添加到表中供查询这一过程。 可以将属性添加到 with 关键字后面的引入命令。

引入属性

重要

在排队引入中，使用引入属性对数据进行批处理。 使用的不同引入映射属性越多（例如不同的 ConstValue 值），引入就会越分散，这可能会导致性能下降。

下表列出并描述了支持的属性，并提供了示例：

properties 说明 示例
ingestionMapping 一个字符串值，表示如何将数据从源文件映射到表中的实际列。 使用相关的映射类型定义 format 值。 请参阅数据映射。 with (format="json", ingestionMapping = "[{\"column\":\"rownumber\", \"Properties\":{\"Path\":\"$.RowNumber\"}}, {\"column\":\"rowguid\", \"Properties\":{\"Path\":\"$.RowGuid\"}}]")
（已弃用：avroMapping、csvMapping、jsonMapping）
ingestionMappingReference 一个字符串值，表示如何使用命名的映射策略对象将数据从源文件映射到表中的实际列。 使用相关的映射类型定义 format 值。 请参阅数据映射。 with (format="csv", ingestionMappingReference = "Mapping1")
（已弃用：avroMappingReference、csvMappingReference、jsonMappingReference）
creationTime 日期/时间值（格式化为 ISO8601 字符串），在创建引入的数据盘区时使用。 如果未指定，则使用当前值 (now())。 在引入的数据较旧时可以重写默认值，以便正确应用保留策略。 指定时，请确保目标表的有效区合并策略中的 Lookback 属性与指定的值一致。 with (creationTime="2017-02-13")
extend_schema 一个布尔值，在指定的情况下会指示命令扩展表的架构（默认为 false）。 此选项仅适用于 .append 和 .set-or-append 命令。 进行架构扩展时，只能在表的末尾添加更多列。 如果原始表架构为 (a:string, b:int)，则 (a:string, b:int, c:datetime, d:string) 是有效的架构扩展，而 (a:string, c:datetime) 则不是。
folder 使用 ingest-from-query 命令时分配给表的文件夹。 如果表已存在，则此属性会重写表的文件夹。 with (folder="Tables/Temporary")
format 数据格式（请参阅支持的数据格式）。 with (format="csv")
ingestIfNotExists 一个字符串值，如果已指定，则在表的数据已通过一个具有相同值的 ingest-by: 标记进行了标记时，引入操作会失败。 这确保了幂等数据引入。 有关详细信息，请参阅 ingest-by: tags。 属性 with (ingestIfNotExists='["Part0001"]', tags='["ingest-by:Part0001"]') 表示，如果已存在带 ingest-by:Part0001 标记的数据，请勿完成当前的引入操作。 如果该数据不存在，则在执行这个新的引入操作时，应该设置此标记（防止将来有人尝试再次引入相同的数据）。
ignoreFirstRecord 一个布尔值，在设置为 true 的情况下表示引入操作应该忽略每个文件的第一条记录。 如果文件中的第一条记录是列名称，则此属性适用于 CSV 和类似格式的文件。 默认为 false。 with (ignoreFirstRecord=false)
policy_ingestiontime 一个布尔值，在指定的情况下，说明是否在通过此命令创建的表上启用引入时间策略。 默认值为 true。 with (policy_ingestiontime=false)
recreate_schema 一个布尔值，在指定的情况下，说明此命令是否会重新创建表的架构。 此属性只适用于 .set-or-replace 命令。 在同时设置的情况下，此属性优先于 extend_schema 属性。 with (recreate_schema=true)
tags 与引入的数据（格式化为 JSON 字符串）相关联的标记的列表 with (tags="['Tag1', 'Tag2']")
TreatGzAsUncompressed 设置为 true 时指示扩展名为 .gz 的文件未压缩的布尔值。 从 Amazon AWS S3 引入时，有时需要此标志。 with (treatGzAsUncompressed=true)
validationPolicy 一个 JSON 字符串，用于指示在引入使用 CSV 格式表示的数据期间要运行的验证。 请参阅数据引入，了解不同选项的说明。 with (validationPolicy='{"ValidationOptions":1, "ValidationImplications":1}')（这是默认策略）
zipPattern 从包含 ZIP 存档的存储中引入数据时，请使用此属性。 这是一个字符串值，表示在要引入的 ZIP 存档中选择具体文件时需使用的正则表达式。 存档中的所有其他文件会被忽略。 with (zipPattern="*.csv")

相关内容