如何从 Azure Synapse Analytics 获取世系再转至 Microsoft Purview
本文档介绍将 Azure Synapse 工作区与 Microsoft Purview 帐户连接以跟踪数据世系和引入数据源所需的步骤。 本文档还详细介绍了活动覆盖范围和受支持的世系功能。
如果将 Azure Synapse Analytics 连接到 Microsoft Purview,则每当运行受支持的管道活动时,有关活动源数据、输出数据和活动本身的元数据将会自动引入到 Microsoft Purview 数据映射中。
如果某个数据源已进行扫描,现在存在于数据映射中,则引入过程会将世系信息从 Azure Synapse Analytics 添加到该现有源。 如果源或输出在数据映射中不存在,并且受 Azure Synapse Analytics 世系支持,则 Microsoft Purview 会自动将其元数据从 Synapse Analytics 添加到默认域或根集合下的数据映射中。
当用户使用 Azure Synapse Analytics 移动和转换信息时,这可能是一种监视数据资产的绝佳方式。
受支持的 Azure Synapse 功能
目前,Microsoft Purview 从以下 Azure Synapse 管道活动捕获运行时世系:
重要
如果源或目标使用不受支持的数据存储系统,则 Microsoft Purview 将删除世系。
复制活动支持
数据存储 | 支持 |
---|---|
Azure Blob 存储 | 是 |
Azure 认知搜索 | 是 |
Azure Cosmos DB for NoSQL * | 是 |
Azure Cosmos DB for MongoDB * | 是 |
Azure 数据资源管理器 * | 是 |
Azure Data Lake Storage Gen1 | 是 |
Azure Data Lake Storage Gen2 | 是 |
Azure Database for MariaDB * | 是 |
Azure Database for MySQL * | 是 |
Azure Database for PostgreSQL * | 是 |
Azure 文件 | 是 |
Azure SQL 数据库 * | 是 |
Azure SQL 托管实例 * | 是 |
Azure Synapse Analytics * | 是 |
Azure 专用 SQL 池(以前称为“SQL DW”)* | 是 |
Azure 表存储 | 是 |
Hive * | 是 |
SQL Server * | 是 |
* Microsoft Purview 当前不支持针对世系或扫描的查询或存储过程。 世系仅限于表和视图源。
如果使用自承载集成运行时,请注意具有以下世系支持的最小版本:
- 任何用例:版本 5.9.7885.3 或更高版本
- 通过 COPY 命令或 PolyBase 将数据复制到 Azure Synapse Analytics:版本 5.10 或更高版本
复制活动世系的限制
当前,如果使用以下复制活动功能,则尚不支持世系:
- 采用二进制格式将数据复制到 Azure Data Lake Storage Gen1 中。
- 二进制、带分隔符的文本、Excel、JSON 和 XML 文件的压缩设置。
- 针对 Azure SQL 数据库、Azure SQL 托管实例、Azure Synapse Analytics、SQL Server 和 SAP 表的源分区选项。
- 将数据复制到基于文件的接收器,该接收器具有每个文件的最大行数设置。
- 目前,当源/接收器是资源集时,复制活动不支持列级世系。
除世系外,还会报告以下连接器的数据资产架构(“资产”->“架构”选项卡中会显示):
- Azure Blob、Azure 文件存储、ADLS Gen1 和 ADLS Gen2 上的 CSV 和 Parquet 文件
- Azure 数据资源管理器、Azure SQL 数据库、Azure SQL 托管实例、Azure Synapse Analytics、SQL Server
数据流支持
数据存储 | 支持 |
---|---|
Azure Blob 存储 | 是 |
Azure Cosmos DB for NoSQL * | 是 |
Azure Data Lake Storage Gen1 | 是 |
Azure Data Lake Storage Gen2 | 是 |
Azure Database for MySQL * | 是 |
Azure Database for PostgreSQL * | 是 |
Azure SQL 数据库 * | 是 |
Azure SQL 托管实例 * | 是 |
Azure Synapse Analytics * | 是 |
Azure 专用 SQL 池(以前称为“SQL DW”)* | 是 |
* Microsoft Purview 当前不支持针对世系或扫描的查询或存储过程。 世系仅限于表和视图源。
数据流世系的限制
- 数据流世系可以生成文件夹级别的资源集,而无需显示所涉及的文件。
- 目前,当源/接收器为资源集时,不支持列级世系。
- 对于数据流活动的世系,Microsoft Purview 仅支持显示涉及的源和接收器。 尚不支持数据流转换的详细世系。
- 当 flowlet 是数据流的一部分时,不支持沿袭。
- 目前 Purview 不支持 Synapse 表的世系报告(LakeHouse DB/Workspace DB)
监视 Azure Synapse Analytics 链接
在 Microsoft Purview 治理门户中,可以监视 Azure Synapse Analytics 链接。