通过

Azure Cosmos DB：无 ETL 分析用例

  • 项目

适用对象： NoSQL MongoDB Gremlin

Azure Cosmos DB 提供了各种分析选项，用于对操作数据进行无 ETL 的准实时分析。 可以使用以下选项对 Azure Cosmos DB 数据启用分析：

  • Microsoft Fabric 中的镜像 Azure Cosmos DB
  • Azure Synapse Link for Azure Cosmos DB

若要详细了解这些选项，请参阅基于 Azure Cosmos DB 数据的分析和 BI。

重要

Microsoft Fabric 中的镜像 Azure Cosmos DB 现已推出预览版，可用于 NoSql API。 此功能提供 Azure Synapse Link 的所有功能，具有更好的分析性能，能够将数据资产与 Fabric OneLake 统一，并支持开放访问 OneLake 中 Delta Parquet 格式的数据。 如果考虑使用 Azure Synapse Link，建议尝试镜像以评估它在组织中的整体适合情况。 若要开始使用镜像，请单击此处。

无 ETL 的准实时分析可以为企业开辟各种可能性。 下面是三个示例方案：

  • 供应链分析、预测和报告
  • 实时个性化设置
  • IOT 方案中的预测性维护，异常情况检测

供应链分析、预测和报告

研究表明，在供应链操作中嵌入大数据分析会改进订单循环交付时间并提高供应链效率。

制造商载入云原生技术，以打破旧版企业资源规划 (ERP) 和供应链管理 (SCM) 系统的约束。 随着供应链每分钟不断生成操作数据（订单、发货、事务数据），制造商需要一个操作数据库。 此操作数据库应进行扩展，以便能够处理数据卷和分析平台，以达到某一级别的实时上下文智能，从而保持领先优势。

以下体系结构展示了将 Azure Cosmos DB 用作供应链分析中的云原生操作数据库的能力：

供应链中 Azure Cosmos DB 的实时分析示意图。

根据以前的体系结构，可以实现以下用例：

  • 准备和训练预测管道：使用机器学习转换生成有关供应链中运营数据的见解。 这样，你就可以降低库存、运营成本，并为客户减少订单交付时间。

通过镜像和 Synapse Link，可以在没有任何手动 ETL 过程的情况下分析 Azure Cosmos DB 中不断变化的操作数据。 这些产品/服务节省了额外的成本，并降低了延迟和操作复杂性。 它们使数据工程师和数据科学家能够生成可靠的预测管道：

  • 通过利用与 Microsoft Fabric 或 Azure Synapse Analytics 中的 Apache Spark 池的本机集成来查询 Azure Cosmos DB 中的操作数据。 无需复杂的数据工程即可查询交互式笔记本或计划的远程作业中的数据。

  • 使用 Microsoft Fabric 或 Azure Synapse Analytics 中的 Spark ML 算法和 Azure 机器学习 (AML) 集成生成机器学习 (ML) 模型。

  • 将模型推理后的结果写回到 Azure Cosmos DB 中以进行准实时操作评分。

  • 操作报告：供应链团队需要针对实时、准确的操作数据的灵活且自定义报表。 需要这些报表来获取供应链有效性、盈利和效率的快照视图。 它允许数据分析人员和其他关键利益干系人不断地重新评估业务，并标识要调整的领域以降低运营成本。

镜像和 Synapse Link for Azure Cosmos DB 支持丰富的商业智能 (BI)/报告方案：

  • 通过使用与 T-SQL 语言完整表达性的本机集成，从 Azure Cosmos DB 查询操作数据。

  • 利用 Microsoft Fabric 或 Azure Synapse Analytics 中集成的 Power BI，通过 Azure Cosmos DB 为自动刷新的 BI 仪表板建模并将其发布。

下面是将批处理数据和流式处理数据集成到 Azure Cosmos DB 的一些指南：

  • 批处理数据集成和业务流程：随着供应链变得越来越复杂，供应链数据平台需要与各种数据源和格式集成。 Microsoft Fabric 和 Azure Synapse 内置了与 Azure 数据工厂相同的数据集成引擎和体验。 此集成使数据工程师无需单独的业务流程引擎即可创建丰富的数据管道：

  • 流式处理数据集成处理：随着 IoT（从“车间到商店”跟踪资产的传感器、连接的物流车队等）的发展，以流式处理方式生成的实时数据呈现爆炸式的增长，需要与传统的慢速移动数据集成以生成见解。 Azure 流分析是一种建议流式处理 ETL 以及使用各种方案在 Azure 上处理的服务。 Azure 流分析支持将 Azure Cosmos DB 作为本机数据接收器。

实时个性化设置

当前，零售商必须构建安全、可缩放且满足客户和业务需求的电子商务解决方案。 这些电子商务解决方案需要通过自定义的产品和套餐吸引客户，快速且安全地处理事务，将重点放在履约和客户服务上。 通过 Azure Cosmos DB 和最新的 Synapse Link for Azure Cosmos DB，零售商可以实时为客户生成个性化建议。 它们使用低延迟和可优化的一致性设置快速获取见解，如以下体系结构所示：

实时个性化设置中的 Azure Cosmos DB 示意图。

  • 准备并训练预测性管道：可以使用 Fabric 或 Synapse Spark 和机器学习模型跨业务部门或客户细分市场生成有关操作数据的见解。 这样可以针对客户细分市场、预测性最终用户体验和目标市场营销生成个性化交付，以满足最终用户的要求。 )

IOT 预测性维护

行业 IOT 创新大大降低了机器停机时间，并提高了行业所有领域的整体效率。 此类创新之一是云边缘的机器的预测性维护分析。

下面是在 IoT 预测性维护中使用云原生 HTAP 功能的体系结构：

IOT 预测性维护中的 Azure Cosmos DB 示意图。

  • 准备和训练预测管道：IoT 设备传感器的历史运营数据可用于训练异常探测器等预测模型。 然后，会将这些异常检测器部署回边缘以进行实时监视。 此类良性循环允许持续重新训练预测模型。

  • 操作报告：随着数字孪生计划的增加，公司从大量传感器收集大量操作数据，以生成每台计算机的数字副本。 此数据支持 BI 需求，不仅可用于了解最新热数据，还可了解历史数据的趋势。

相关内容