使用 Azure 机器学习工作室中的负责任 AI 仪表板

负责任的 AI 仪表板链接到已注册的模型。 若要查看负责任的 AI 仪表板，请转到模型注册表，选择为其生成了负责任的 AI 仪表板的已注册模型。 然后选择“负责任 AI”选项卡查看生成的仪表板列表。

可以配置多个仪表板并将其附加到已注册的模型。 可以将各种组件组合（可解释性、错误分析、因果分析等）附加到每个“负责任 AI”仪表板。 下图显示了仪表板的自定义项以及在其中生成的组件。 在每个仪表板中，可以查看或隐藏仪表板 UI 本身中的各种组件。

选择仪表板的名称，在浏览器中以完整视图将其打开。 可以随时选择“返回到模型详细信息”返回到仪表板列表。

使用集成计算资源实现全部功能

“负责任 AI”仪表板的某些特征需要动态、即时和实时计算（例如 what-if 分析）。 除非将计算资源连接到仪表板，否则某些功能可能会缺失。 连接到计算资源时，将为以下组件启用负责任 AI 仪表板的全部功能：

• 错误分析
  • 如果将全局数据队列设置为任何感兴趣的队列，则将更新错误树而不是禁用它。
  • 支持选择其他错误或性能指标。
  • 支持选择用于训练错误树图的任何特征子集。
  • 支持更改每个叶节点所需的最小样本数和错误树深度。
  • 支持在最多两个特征上动态更新热度地图。
• 功能重要性
  • 支持“单个特征重要性”选项卡中的单个条件期望 (ICE) 图。
• 反事实 what-if
  • 支持生成新的 what-if 反事实数据点，从而了解实现所需结果所需的最小更改。
• 因果分析
  • 支持选择任何单个数据点、干扰其处理特征并查看因果 what-if 的预期因果结果（仅适用于回归机器学习方案）。

还可以通过在负责任 AI 仪表板页上选择“信息”图标找到此信息，如下图所示：

启用负责任 AI 仪表板的全部功能

1. 在仪表板顶部的“计算”下拉列表中选择一个正在运行的计算实例。 如果你没有正在运行的计算，请通过选择下拉列表旁边的加号 (+) 创建新的计算实例。 或者，可以选择“启动计算”按钮启动一个已停止的计算实例。 创建或启动计算实例可能需要几分钟时间。

   

2. 计算处于“正在运行”状态后，负责任 AI 仪表板将开始连接到该计算实例。 为此，将在选定的计算实例上创建终端进程，并在终端上启动负责任 AI 终结点。 选择“查看终端输出”以查看当前终端进程。

   

3. 当负责任的 AI 仪表板连接到计算实例时，你将看到一个绿色消息栏，仪表板现在功能完备。

   

4. 如果该进程运行了一段时间，但负责任 AI 仪表板仍未连接到计算实例，或者显示红色错误消息栏，则表示启动负责任 AI 终结点时出现问题。 选择“查看终端输出”，并向下滚动至底部以查看错误消息。

   

   如果你不知道如何解决“无法连接到计算实例”问题，请选择右上角的“微笑”图标。 向我们提交有关你遇到的任何错误或问题的反馈。 可以在反馈表单中包含屏幕截图和电子邮件地址。

负责任的 AI 仪表板的 UI 概述

负责任 AI 仪表板包括一组丰富可靠的可视化效果和功能，可帮助分析机器学习模型或做出数据驱动的业务决策：

• 全局控件
• 错误分析
• 模型概述和公平性指标
• 数据分析
• 特征重要性（模型解释）
• 反事实 what-if
• 因果分析

全局控件

在仪表板的顶部，可以创建队列（共享指定特征的数据点子组），以便将分析重点放在每个组件上。 当前应用于仪表板的队列的名称始终显示在仪表板的左上角。 仪表板中的默认视图是整个数据集，标题为“所有数据(默认值)”。

1. 队列设置：允许在侧面板中查看和修改每个队列的详细信息。
2. 仪表板配置：允许在侧面板中查看和修改整个仪表板的布局。
3. 切换队列：允许选择其他队列并在弹出窗口中查看其统计信息。
4. 新建队列：允许创建新队列并将其添加到仪表板。

选择“队列设置”打开一个包含队列列表的面板，可以在其中创建、编辑、复制或删除队列。

选择仪表板顶部或“队列设置”中的“新建队列”打开一个新面板，其中包含用于筛选以下内容的选项：

1. 索引：按完整数据集中数据点的位置进行筛选。
2. 数据集：按数据集中特定特征的值进行筛选。
3. 预测 Y：按模型进行的预测进行筛选。
4. True Y：按目标特征的实际值进行筛选。
5. 错误(回归)：按错误进行筛选（或分类结果(分类)：按分类类型和准确度进行筛选）。
6. 分类值：按应该包含的值列表进行筛选。
7. 数值：按对值进行的布尔运算（例如，选择年龄 < 64 的数据点）进行筛选。

可以命名新数据集队列，选择“添加筛选器”以添加要使用的每个筛选器，然后执行以下操作之一：

• 选择“保存”以将新队列保存到队列列表中。
• 选择“保存并切换”以保存并立即将仪表板的全局队列切换到新建的队列。

选择“仪表板配置”打开一个面板，其中包含你在仪表板中配置的组件的列表。 可以通过选择“垃圾桶”图标隐藏仪表板上的组件，如下图所示：

可以通过组件之间的分隔条中的蓝色带圆圈加号 (+) 图标将组件添加回仪表板，如下图所示：

错误分析

下一部分介绍如何解释和使用错误树图与热度地图。

错误树图

错误分析组件的第一个窗格是树图，它通过树可视化效果说明如何在不同队列中分布模型故障。 选择任意节点以查看发现错误的特征的预测路径。

1. 热度地图视图：切换到错误分布的热度地图可视化效果。
2. 特征列表：允许使用侧面板修改热度地图中使用的特征。
3. 错误覆盖率：显示集中于选定节点的数据集中的所有错误的百分比。
4. “错误(回归)”或“错误率(分类)”：显示选定节点中所有数据点的错误或故障百分比。
5. 节点：表示数据集队列（可能应用了筛选器），以及队列中数据点总数中的错误数。
6. 填充线：根据筛选器将数据点的分布可视化为子队列，数据点的数目通过线条粗细表示。
7. 选择信息：包含有关侧面板中选定节点的信息。
8. 另存为新队列：使用指定的筛选器创建新队列。
9. 基础队列中的实例：显示整个数据集中的总点数以及正确和错误预测的点数。
10. 所选队列中的实例：显示所选节点中的总点数以及正确和错误预测的点数。
11. 预测路径（筛选器）：列出施加在完整数据集上的筛选器，以创建此较小队列。

选择“特征列表”按钮以打开侧面板，在其中可以基于特定特征重新训练错误树。

1. 搜索特征：允许在数据集中查找特定特征。
2. 特征：列出数据集中特征的名称。
3. 重要性：有关特征与错误的相关性的指导。 通过特征与标签上的错误之间的互信息分数计算。 可以使用此分数来帮助确定在错误分析中选择哪些特征。
4. 复选标记：允许在树图中添加或删除特征。
5. 最大深度：针对错误训练的代理树的最大深度。
6. 叶数：针对错误训练的代理树的叶数。
7. 一个叶中的最小样本数：创建一个叶所需的最小数据量。

错误热度地图

选择“热度地图”选项卡切换到数据集中错误的不同视图。 可以选择一个或多个热度地图单元并创建新的队列。 可以选择最多两个特征来创建热度地图。

1. 单元数：显示所选单元数。
2. 错误覆盖率：显示集中于选定单元的所有错误的百分比。
3. 错误率：显示选定单元中所有数据点的故障百分比。
4. 轴特征：选择要在热度地图中显示的特征的交集。
5. 单元：表示数据集队列（应用了筛选器），以及队列中数据点总数中错误的百分比。 蓝色边框表示所选单元，红色边框的暗处表示故障的集中。
6. 预测路径(筛选器)：列出施加在每个选定队列的完整数据集上的筛选器。

模型概述和公平性指标

模型概述组件提供一组全面的性能指标和公平性指标来评估模型，并按指定特征队列和数据集队列提供关键性能差异指标。

数据集队列

在“数据集队列”窗格中，可以通过比较不同用户指定的数据集队列的模型性能来调查模型（通过仪表板右上角的“队列设置”图标访问）。

1. 帮助我选择指标：选择此图标会打开一个面板，其中包含有关表中可显示的模型性能指标的详细信息。 通过使用多选下拉列表选择和取消选择性能指标，可以轻松调整要查看的指标。
2. 显示热度地图：打开和关闭此项可显示或隐藏表中的热度地图可视化效果。 热度地图的渐变对应于每个列中的最小值和最大值之间的规范化范围。
3. 每个数据集队列的指标表：查看数据集队列的列、每个队列的样本大小，以及每个队列的选定模型性能指标。
4. 可视化单个指标的条形图：查看不同队列的平均绝对误差，以方便比较。
5. 选择指标(x 轴)：选择此按钮可以选择要在条形图中查看的指标。
6. 选择队列(y 轴)：选择此按钮可以选择要在条形图中查看的队列。 除非先在组件的“特征队列”选项卡中指定所需的特征，否则“特征队列”选项可能会禁用。

选择“帮助我选择指标”打开一个面板，其中包含模型性能指标的列表及其定义，可帮助你选择要查看的正确指标。

机器学习方案	指标
回归	平均绝对误差、均方误差、R 平方、平均值预测。
分类	准确度、精准率、召回率、F1 分数、误报率、漏报率、选择率。

特征队列

在“特征队列”窗格中，可以通过比较用户指定的敏感和非敏感特征之间的模型性能（例如，不同性别、种族和收入水平队列的性能）来调查模型。

1. 帮助我选择指标：选择此图标会打开一个面板，其中包含有关表中可显示的指标的详细信息。 通过使用多选下拉列表选择和取消选择性能指标，可以轻松调整要查看的指标。

2. 帮助我选择特征：选择此图标会打开一个面板，其中包含有关表中可显示的特征的详细信息，和每个特征的描述符及其装箱功能（参阅下图）。 通过使用多选下拉列表选择和取消选择特征，可以轻松调整可查看的特征。

   

3. 显示热度地图：打开和关闭此项可查看热度地图可视化效果。 热度地图的渐变对应于每个列中的最小值和最大值之间的规范化范围。

4. 每个特征队列指标表：包含特征队列的列（选定特征的子队列）、每个队列的样本大小以及每个特征队列的选定模型性能指标的表。

5. 公平性指标/差异指标：与指标表相对应的表，显示任意两个特征队列之间性能分数的最大差异或最大比率。

6. 可视化单个指标的条形图：查看不同队列的平均绝对误差，以方便比较。

7. 选择队列(y 轴)：选择此按钮可以选择要在条形图中查看的队列。

   选择“选择队列”会打开一个面板，其中包含一个选项，用于根据选项下方的多选下拉列表中的所选内容，显示所选数据集队列或特征队列的比较。 选择“确认”以保存对条形图视图的更改。

   

8. 选择指标(x 轴)：选择此按钮可以选择要在条形图中查看的指标。

数据分析

使用数据分析组件时，“表视图”窗格将显示数据集的所有特征和行的表视图。

“图表视图”面板显示数据点的聚合和各个绘图。 你可以使用预测结果、数据集特征和错误组等筛选器来分析 x 轴和 y 轴上的数据统计信息。 此视图可帮助你了解数据集中的表示过度和表示不足。

1. 选择要浏览的数据集队列：指定队列列表中要查看其数据统计信息的数据集队列。

2. X 轴：显示水平绘制的值的类型。 选择按钮打开侧面板可以修改值。

3. Y 轴：显示垂直绘制的值的类型。 选择按钮打开侧面板可以修改值。

4. 图表类型：指定图表类型。 在聚合图（条形图）或单个数据点（散点图）之间进行选择。

   选择“图表类型”下的“单个数据点”选项可以切换到提供颜色轴的非聚合视图。

特征重要性（模型说明）

使用模型解释组件可以查看模型预测中最重要的特征。 可以在“聚合特征重要性”窗格中查看影响模型总体预测的特征，或在“单个特征重要性”窗格中查看单个数据点的特征重要性。

聚合特征重要性（全局说明）

1. 前 k 个特征：列出预测的最重要的全局特征，并允许使用滚动条对其进行更改。

2. 聚合特征重要性：可视化每个特征在影响所有预测中的模型决策方面的权重。

3. 排序依据：允许选择要按哪个队列重要性对聚合特征重要性图进行排序。

4. 图表类型：允许在每个特征的平均重要性的条形图视图和所有数据的重要性的盒须图之间进行选择。

   在条形图中选择一个特征时，将填充依赖关系图，如下图所示。 此依赖关系图显示特征值与其影响模型预测的相应特征重要性值之间的关系。

   

5. [特征] 的特征重要性（回归）或 [特征] 对于 [预测类] 的特征重要性（分类）：绘制预测中特定特征的重要性。 对于回归方案，重要性值与输出有关，因此特征重要性为正意味着它对输出有积极作用。 而对于特征重要性为负的情况则正好相反。 对于分类方案，特征重要性为正意味着特征值对 y 轴标题中所示的预测类有用。 特征重要性为负则意味着它对预测类不利。

6. 查看依赖关系图：选择要绘制其重要性的特征。

7. 选择数据集队列：选择要绘制其重要性的队列。

单个特征重要性（局部说明）

下图演示了特征如何影响对特定数据点做出的预测。 可以选择最多五个数据点来比较特征重要性。

点选择表：查看数据点，并选择最多五个点以显示在表下方的特征重要性图或 ICE 图中。

特征重要性图：模型对选定数据点做出预测所用的每个特征的重要性的条形图。

1. 前 k 个特征：允许使用滑块指定要显示其重要性的特征数。
2. 排序依据：允许选择其特征重要性按降序顺序显示在特征重要性图上的点（以上选中的点）。
3. 查看绝对值：打开此项可按绝对值将条形图排序。 这样就可以查看影响度最大的特征，而不考虑其影响是积极影响还是消极影响。
4. 条形图：显示数据集中每个特征对于选定数据点的模型预测的重要性。

单个条件期望 (ICE) 图：切换到 ICE 图，其中显示特定特征的一系列值的模型预测。

• 最小值（数值特征）：指定 ICE 图中预测范围的下限。
• 最大值（数值特征）：指定 ICE 图中预测范围的上限。
• 步骤（数值特征）：指定要在间隔内显示其预测的点数。
• 特征值（分类特征）：指定要显示其预测的分类特征值。
• 特征：指定要为其进行预测的特征。

反事实 what-if

反事实分析提供了一组不同的“what-if”示例，这些示例通过最小程度地更改特征值以生成所需的预测类（分类）或范围（回归）生成。

1. 点选择：选择要为其创建反事实并显示在以下排名靠前的特征图中的点。

   

   排名靠前的特征图：按平均频率的降序顺序显示要干扰的特征，以创建所需类的不同反事实集。 必须为每个数据点生成至少 10 个不同的反事实才能启用此图表，因为反事实数目较少会导致准确度不够。

2. 所选数据点：执行与表中的点选择相同的操作，但下拉菜单除外。

3. 反事实的所需类：指定要为其生成反事实的类或范围。

4. 创建 what-if 反事实：打开一个面板，用于创建反事实 what-if 数据点。

   选择“创建 what-if 反事实”按钮打开一个全屏面板。

   

5. 搜索特征：查找要观察并更改值的特征。

6. 按排名特征对反事实进行排序：按扰动效应的顺序对反事实示例进行排序。 （另请参阅前面的“排名靠前的特征图”。）

7. 反事实示例：列出具有所需类或范围的示例反事实的特征值。 第一行是原始参考数据点。 选择“设置值”，使用预生成的反事实示例的值在底部行中设置你自己的反事实数据点的所有值。

8. 预测值或类：列出获得这些已更改特征的反事实类的模型预测。

9. 创建自己的反事实：允许干扰自己的特征来修改反事实。 已从原始特征值更改的特征由加粗的标题表示（例如“雇主”和“编程语言”）。 选择“查看预测增量”查看新预测值与原始数据点的差异。

10. What-if 反事实名称：允许为反事实提供唯一的名称。

11. 另存为新数据点：保存已创建的反事实。

因果分析

后续部分将介绍如何针对所选的用户指定处理为你的数据集读取因果分析。

聚合因果效应

选择“因果分析”组件的“聚合因果效应”选项卡以显示预定义处理特征（想要处理以优化结果的特征）的平均因果效应。

1. 直接聚合因果效应表：显示在整个数据集上聚合的每个特征的因果效应以及相关的置信度统计信息。

   • 连续处理：在此示例中，平均而言，将此特征增加一个单位将导致类的概率增加 X 个单位，其中 X 是因果效应。
   • 二元处理：在此示例中，平均而言，启用此特征将导致类的概率增加 X 个单位，其中 X 是因果效应。

2. 直接聚合因果效应须状图：可视化表中的点的因果效应和置信区间。

单个因果效应和因果 what-if

若要获取单个数据点的因果效应的详细视图，请切换到“单个因果 what-if”选项卡。

1. X 轴：选择要在 x 轴上绘制的特征。
2. Y 轴：选择要在 y 轴上绘制的特征。
3. 单个因果散点图：将表中的点可视化为散点图，以选择用于分析因果假设和查看其下面的单个因果效应的数据点。
4. 设置新的处理值：
   • （数值）：显示滑块以更改数值特征的值作为实际干预。
   • （分类）：显示下拉列表以选择分类特征的值。

处理策略

选择“处理策略”选项卡以切换到帮助确定实际干预的视图，并显示实现特定结果需要应用的处理。

1. 设置处理特征：选择要作为实际干预更改的特征。

2. 建议的全局处理策略：显示数据队列的建议干预以提高目标特征值。 可以从左向右读取表，其中数据集的分段首先在行中，然后在列中进行。 例如，对于雇主不是 Snapchat，编程语言不是 JavaScript 的 658 名人员，建议的处理策略是增加有帮助的 GitHub 存储库的数目。

   替代策略的平均增益超过始终应用处理：在条形图中绘制目标特征值，该条形图显示上述建议的处理策略与始终应用处理的结果的平均增益。

   

   建议的单个处理策略：

   

3. 显示按建议的处理特征的因果效应排序的前 k 个数据点样本：选择要表中显示的数据点数。

4. 建议的单个处理策略表：按因果效应的降序顺序列出其目标特征可通过干预实现最佳改善的数据点。

后续步骤

• 使用导出为 PDF 的负责任 AI 记分卡汇总和共享负责任 AI 见解。
• 详细了解负责任 AI 仪表板背后的概念和技术。
• 查看示例 YAML 和 Python 笔记本，使用 YAML 或 Python 生成负责任 AI 仪表板。
• 通过此交互式 AI 实验室 Web 演示探索负责任 AI 仪表板的功能。
• 参阅此技术社区博客文章，详细了解如何使用负责任 AI 仪表板和记分卡来调试数据和模型，并为更好的决策提供信息。
• 参阅真实客户案例，了解英国国家医疗服务体系 (NHS) 如何使用负责任 AI 仪表板和记分卡。