分区和示例组件

本文介绍 Azure 机器学习设计器中的一个组件。

使用分区和采样组件来对数据集执行采样或从数据集创建分区。

采样是机器学习中的一个重要工具，因为通过采样可以减小数据集的大小，同时使值的比率保持相同。 该组件支持机器学习中几个重要的相关任务：

• 将数据划分为多个大小相同的小节。

  可以将分区用于交叉验证，或用于将事例分配给随机组。

• 将数据分成组，然后处理特定组中的数据。

  将事例随机分配给不同的组后，可能需要修改只与一个组关联的特征。

• 采样。

  可以提取一定百分比的数据，应用随机采样，也可以选择一列用于均衡数据集并对其值进行分层采样。

• 创建更小的数据集用于测试。

  如果存在大量数据，可以在设置管道时使用前 n 行，然后在构建模型时转为使用完整数据集。 也可以使用采样创建更小的数据集，以便在开发环境中使用。

配置组件

此组件支持采用下列方法将数据划分为分区或进行采样。 请先选择方法，然后设置方法所需的其他选项。

• 头
• 采样
• 分配到折叠
• 选取折叠

获取数据集中的前 N 行

使用此模式只能获取前 n 行。 如果要使用少量行测试管道，而不需要以任何方式均衡数据或对其进行采样，则此选项很有用。

1. 在界面中将“分区和采样”组件添加到管道，并连接数据集。

2. 分区模式或采样模式：将此选项设置为“Head”。

3. 要选择的行数：输入要返回的行数。

   行数必须为非负整数。 如果所选行数大于数据集中的行数，则返回整个数据集。

4. 提交管道。

组件输出单个数据集，其中只包含指定行数。 始终从数据集的顶部开始读行。

创建数据样本

此选项支持简单随机采样或分层随机采样。 如果要创建用于测试的小型代表性样本数据集，则可以使用它。

1. 将“分区和采样”组件添加到管道，并连接数据集。

2. 分区或采样模式：将此选项设置为“采样”。

3. 采样率：请输入介于 0 和 1 之间的值。 此值指定输出数据集应包含的行数占源数据集中行数的百分比。

   例如，如果只需要占原始数据集一半的数据，则输入 0.5，表示采样率应为 50%。

   根据指定的比率，随机排列输入数据集中的行，并将其有选择地放入输出数据集。

4. 用于采样的随机种子：（可选）输入一个要用作种子值的整数。

   如果希望每次都按相同的方式划分多个行，则此选项非常重要。 默认值为 0，表示根据系统时钟生成起始种子。 此值可能会导致每次运行管道的结果略有不同。

5. 用于采样的分层拆分：如果数据集中的行在采样之前按某些键列平均划分，请选择此选项。

   对于用于采样的分层键列，请选择一个单独的分层列，以供划分数据集时使用。 然后，将数据集中的行划分如下：

   1. 所有输入行均按指定分层列中的值分组（分层）。

   2. 对每个组中的行进行随机排列。

   3. 将每个组有选择地添加到输出数据集中以满足指定比例。

6. 提交管道。

   使用此选项时，组件将输出单个数据集，其中包含数据的代表性采样。 不会输出数据集的未采样部分。

将数据拆分到多个分区

要将数据集划分为数据子集时，请使用此选项。 要创建自定义数量的折叠以用于交叉验证，或将行拆分为多个组，此选项也很有用。

1. 将“分区和采样”组件添加到管道，并连接数据集。

2. 对于分“区或采样模式”，选择“分配到折叠” 。

3. 在分区中使用替换：如果希望将采样行放回到行池中以允许重用，请选择此选项。 因此，可以将同一行分配到多个折叠。

   如果不使用替换（默认选项），则不会将采样行放回到行池中以允许重用。 因此，只能将每行分配到一个折叠。

4. 随机拆分：如果要将行随机分配到折叠，请选择此选项。

   如果不选择此选项，则通过轮询机制方法将行分配到折叠。

5. 随机种子：（可选）输入一个要用作种子值的整数。 如果希望每次都按相同的方式划分多个行，则此选项非常重要。 否则，默认值 0 表示将使用随机起始种子。

6. 指定分区方法：使用以下选项，指示如何将数据分配到每个分区：

   • 平均分区：使用此选项可使每个分区中的行数相等。 若要指定输出分区的数目，请在“指定要平均拆分的折叠数”框中输入整数。

   • 使用自定义比例进行分区：使用此选项可以用逗号分隔的列表指定每个分区的大小。

     例如，假设要创建三个分区。 第一个分区将包含 50% 的数据。 其余两个分区每个包含 25% 的数据。 在“以逗号分隔的比例列表”框中，输入以下数字： .5、.25、.25。

     所有分区大小的总和必须正好是 1。

     如果输入的数字加起来小于 1，则将创建一个额外的分区来容纳剩余的行。 例如，如果输入的值为 .2 和 .3，则会创建第三个分区，用于容纳所有行的其余 50%。

     如果输入的数字加起来大于 1，则在运行管道时会引发错误。

7. 分层拆分：如果希望在拆分时对行进行分层，请选择此选项，然后选择“分层列”。

8. 提交管道。

   如果选择此选项，该组件将输出多个数据集。 数据集根据指定的规则分区。

使用预定义分区中的数据

如果已将数据集划分为多个分区，而现在想要依次加载每个分区以进行进一步分析或处理，请使用此选项。

1. 将“分区和示例”组件添加到管道。

2. 将组件连接到前一个“分区和示例”实例的输出。 此实例必须使用“分配到折叠”选项才能生成一定数量的分区。

3. 分区模式或采样模式：选择“选取折叠”。

4. 指定要采样的折叠：通过输入分区索引来选择要使用的分区。 分区索引从 1 开始。 例如，如果将数据集划分为三个部分，则分区的索引分别为 1、2 和 3。

   如果输入无效的索引值，则会引发设计时错误：“Error 0018：数据集包含无效数据。”

   除了将数据集按折叠分组，还可以将数据集分成两个组：目标折叠和其他所有内容。 为此，请输入单个折叠的索引，然后选择选项“选取所选折叠的补集”，以获取除指定折叠中数据以外的所有内容。

5. 如果使用多个分区，则必须添加更多的“分区和示例”组件实例来处理每个分区。

   例如，第二行的“分区和示例”组件设置为“分配到折叠”，第三行的组件设置为“拾取折叠”。

   

6. 提交管道。

   使用此选项，组件输出一个数据集，其中仅包含分配给该折叠的行。

后续步骤

请参阅 Azure 机器学习可用的组件集。