将数据导出到云存储空间

适用于：✅Azure 数据资源管理器

执行查询，将第一个结果集写入到通过存储连接字符串指定的云存储空间。

权限

你必须至少具有数据库查看者权限才能运行此命令。

语法

.export [async] [compressed] to OutputDataFormat ( StorageConnectionString [, ...] ) [with ( PropertyName = PropertyValue [, ...] )] <| Query

详细了解语法约定。

参数

支持的属性

身份验证和授权

身份验证方法基于提供的连接字符串，所需的权限因身份验证方法而异。

下表根据存储类型列出了支持的身份验证方法，以及将数据导出到外部存储所需的权限。

返回

这些命令会返回一个表，该表描述了生成的存储项目。 每条记录描述一个项目，并包括项目的存储路径和该项目包含的记录数。

异步模式

如果指定了 async 标志，则命令将以异步模式执行。 在此模式下，命令会立即返回一个操作 ID，而数据导出则在后台继续进行，直到完成。 可以使用此命令返回的操作 ID 通过以下命令跟踪其进度并最终跟踪其结果：

• .show operations：跟踪进度。
• .show operation details：获取完成结果。

例如，在成功完成后，可使用以下命令来检索结果：

.show operation f008dc1e-2710-47d8-8d34-0d562f5f8615 details

示例

在此示例中，Kusto 运行查询，然后将查询生成的第一个记录集导出到一个或多个压缩的 CSV blob，压缩前最大可达 1GB。 列名标签添加为每个 blob 的第一行。

.export
  async compressed
  to csv (
    h@"https://storage1.blob.core.chinacloudapi.cn/containerName;secretKey",
    h@"https://storage1.blob.core.chinacloudapi.cn/containerName2;secretKey"
  ) with (
    sizeLimit=1000000000,
    namePrefix="export",
    includeHeaders="all",
    encoding="UTF8NoBOM"
  )
  <| 
  Logs | where id == "1234" 

执行 export 命令期间发生故障

export 命令在执行期间可能会暂时失败。 连续导出会自动重试此命令。 常规 export 命令（导出到存储、导出到外部表）不执行任何重试操作。

• 如果 export 命令失败，不会删除已写入到存储的项目。 这些项目将保留在存储中。 如果该命令失败，应假定导出不完整（即使已写入了一些项目）。
• 若要跟踪命令完成情况和成功完成时导出的项目，最好使用 .show operations 和 .show operation details 命令。

存储故障

默认情况下会对 export 命令进行分配，从而可能会有许多针对存储的并发写入。 分配级别取决于 export 命令的类型：

• 常规 .export 命令的默认分配为 per_shard，这意味着所有包含要导出数据的.export都以并发方式写入到存储。

• 导出到外部表命令的默认分布是 per_node，这意味着并发度是节点数。

当区/节点的数量很大时，可能会导致存储中的负载过高，从而导致发生存储限制或出现暂时性存储错误。 以下建议可能会解决这些错误（按优先级顺序）：

• 增加为 export 命令或外部表定义提供的存储帐户数（负载会在帐户之间均匀分配）。

• 通过将分配提示设置为 per_node 来降低并发度（请参阅命令属性）。

• 通过将客户端请求属性 query_fanout_nodes_percent 设置为所需的并发度（节点百分比）来降低进行导出的节点的并发度。 可以在导出查询中设置此属性。 例如，以下命令将并发写入存储的节点数限制为 50% 的节点：

  .export async  to csv
      ( h@"https://storage1.blob.core.chinacloudapi.cn/containerName;secretKey" ) 
      with
      (
          distribution="per_node"
      ) 
      <| 
      set query_fanout_nodes_percent = 50;
      ExportQuery
  

• 使用按分片导出时，通过将客户端请求属性 query_fanout_threads_percent 设置为所需的并发度（线程数的百分比），降低每个节点中导出的线程数的并发度。 可以在导出查询中设置此属性。 例如，以下命令在每个节点上将并发写入存储的线程数限制为 50%：

  .export async  to csv
      ( h@"https://storage1.blob.core.chinacloudapi.cn/containerName;secretKey" ) 
      with
      (
          distribution="per_shard"
      ) 
      <| 
      set query_fanout_threads_percent = 50;
      ExportQuery
  

• 如果要导出到分区的外部表，则设置 spread/concurrency 属性可以降低并发度（请参阅spread中的详细信息）。

• 如果上述做法均不起作用，可以通过将 distributed 属性设置为 false 来完全禁用分发。 但我们不建议这样做，因为这可能会显著影响命令性能。

授权失败

当存储连接字符串中提供的凭据无权写入存储时，身份验证或授权可能会在导出命令期间失败。 如果使用 impersonate 或用户委托 SAS 令牌导出命令，则需要存储 Blob 数据参与者角色才能写入存储帐户。 有关详细信息，请参阅存储连接字符串。

数据类型映射

Parquet 数据类型映射

导出时，Kusto 数据类型使用以下规则映射到 Parquet 数据类型：