Microsoft Sentinel 中的自定义数据引入和转换

Azure Monitor 日志 充当 Microsoft Sentinel 的数据平台。 引入到 Microsoft Sentinel 中的所有日志都存储在 Log Analytics 工作区中,使用 Kusto 查询语言(KQL)编写的日志查询用于检测威胁并监视网络活动。

Log Analytics 为你提供对通过自定义数据引入和数据收集规则 (DCR) 引入到工作区的数据的高度控制。 DCR 使你能够在数据存储到工作区之前对其进行收集和处理。 对于生成独特日志格式的数据源,DCR 既能对数据进行格式化处理,又能将数据发送至标准的 Log Analytics 表和可自定义的表。

用于在 Microsoft Sentinel 中引入自定义数据的 Azure Monitor 工具

Microsoft Sentinel 使用以下 Azure Monitor 工具来控制自定义数据引入:

  • 转换在 DCR 中定义,并在传入的数据存储到工作区之前对其应用 KQL 查询。 这些转换可以筛选掉不相关的数据、使用分析或外部数据扩充现有数据,或者屏蔽掉敏感或个人信息。

  • 日志引入 API 允许将自定义格式日志从任何数据源发送到 Log Analytics 工作区,并将这些日志存储在某些标准表或你创建的自定义格式表中。 你将能够全面控制这些自定义表的创建,具体到指定列名和类型。 API 使用 DCR 来定义、配置和应用这些数据流的转换。

注释

为 Microsoft Sentinel 启用的 Log Analytics 工作区不受 Azure Monitor 的筛选引入费用所影响(不管转换筛选的数据量如何)。 但是,Microsoft Sentinel 中的转换在其他方面与 Azure Monitor 具有相同的限制。 有关详细信息,请参阅 限制和注意事项

Microsoft Sentinel 中的 DCR 支持

引入时间转换在 数据收集规则(DCR)中定义,用于控制 Azure Monitor 中的数据流。 DCR 由基于 AMA 的 Sentinel 连接器和工作流通过日志引入 API 使用。 每个 DCR 都包含特定数据收集方案的配置,多个连接器或源可以共享单个 DCR。

工作区转换 DCR 支持不以其他方式使用 DCR 的工作流。 工作区转换 DCR 包含对任何支持的表的转换,并应用于发送到该表的所有流量。

有关详细信息,请参阅:

用例和示例方案

Azure Monitor 中的示例转换文章提供了有关在 Azure Monitor 中使用引入时转换的常见方案的说明和示例查询。 对 Microsoft Sentinel 特别有用的场景包括:

  • 降低数据成本。 按行或列筛选数据收集,以减少引入和存储成本。

  • 规范化数据。 使用 高级安全信息模型(ASIM) 规范化日志,以提高规范化查询的性能。 有关详细信息,请参阅引入时规范化

  • 扩充数据。 引入时转换使你能够通过向已配置的 KQL 转换中添加额外的列来扩充数据,从而改进分析。 其他列可能包括从现有列分析或计算的数据。

  • 删除敏感数据。 引入时转换可用于屏蔽或删除个人信息,例如屏蔽社会安全号码或信用卡号的最后一位数。

Microsoft Sentinel 中的数据引入流

下图显示了引入时间数据转换在 Microsoft Sentinel 中进入数据引入流的位置。 此数据可以支持标准表或 特定自定义表集

Microsoft Sentinel 数据转换架构图。

此图显示了表示 Azure Monitor 数据收集组件的云管道。 可以在 Azure Monitor 的数据收集规则(DCR)中了解有关它的详细信息以及其他数据收集方案。

Microsoft Sentinel 从多个源收集 Log Analytics 工作区中的数据。

  • 从日志引入 API 终结点或 Azure Monitor 代理(AMA)收集的数据 由可能包含引入时间转换的特定 DCR 进行处理。
  • 在 Log Analytics 中组合使用硬编码工作流和工作区 DCR 中的引入时间转换来处理内置数据连接器中的数据。

下表描述了对 Microsoft Sentinel 数据连接器类型的 DCR 支持:

数据连接器类型 DCR 支持
Azure Monitor 代理 (AMA) 日志,例如:
  • 通过 AMA 收集的 Windows 安全事件
  • Windows 转发事件
  • CEF 数据
  • Syslog 数据
  • 与代理关联的一个或多个 DCR
    通过日志引入 API直接引入 API 调用中指定的 DCR
    基于 API 的内置数据连接器 为连接器创建的 DCR
    基于诊断设置的连接 支持的输出表的工作区转换 DCR
    基于 API 的内置数据连接器 目前不支持
    内置的服务到服务数据连接器,例如:
  • Microsoft Office 365
  • Microsoft Entra ID
  • 支持转换的表的工作区转换 DCR

    有关详细信息,请参阅: