预处理(Preprocess)

使用选定的方法预处理数据。

输入

  • 数据:输入数据集

输出

  • 预处理器:预处理方法
  • 预处理数据:使用选定方法进行预处理的数据

功能

预处理(Preprocess) 对于获得更高质量的分析结果至关重要。预处理(Preprocess)小部件提供了可使用一个预处理流水线,这个流水线可以结合几种预处理方法。某些方法可以作为单独的小部件使用,它们提供了更高级的技术和更完善的参数调整。

界面

  1. 预处理器列表。双击要使用的预处理器,然后通过上下拖动来排序。也可以通过从左侧菜单向右拖动预处理器来添加它们。
  2. 预处理流水线
  3. 勾选框(自动发送)后,小部件将自动传送更改。或者,点击”发送“按钮。

预处理器

离散化连续变量

连续化离散变量

  • 最常见的为基 会将最常见的离散值视为 0,将其他视为1。具有2个以上值的离散属性的话,最常使用的离散属性将被视为基,并与相应列中的其余值进行对比。
  • 每一个值一个特征为每个值创建列,在实例中包含该值的地方放置1,不包含该值的地方放置0。其实就是独热编码
  • 删除非二进制特征:仅保留值为 0 或 1 的分类特征并将其转换为连续的值。
  • 删除分类特征:完全删除分类特征。
  • 按有序数据处理:将离散值视为数字。如果离散值是分类,则将为每个分类按照数据中出现的次序分配一个数字。
  • 除以取值数目类似于按有序数据处理,但最终值将除以值的总数,因此新的连续变量的范围将为[0,1]。

填充缺失值

  • 平均/最频繁:将平均值(连续)或最频繁值(离散)替换缺失值(NaN)。
  • 替换为随机值:将缺失值替换为每个变量范围内的随机值。
  • 删除有缺失值的行

选择相关特征:

选择随机特征:

会从原始数据中输出固定数量的特征或一个百分比。这主要用于高级测试和教育目的。

归一化特征:

将值调整为一个共同范围。通过均值或中中位数或完全省略中心来确定中心值。与缩放类似,可以按标准差,按跨度或根本不按比例进行缩放。

随机化

随机化会打乱类别,并破坏实例与类别之间的连接。同样,可以将特征或元数据随机化。如果启用了 可复制混排,则可以使用保存的工作流程共享和重复随机结果。这主要用于高级测试和教育目的。

删除稀疏特征

删除稀疏特征将保留具有超过用户定义阈值百分比的非零值的特征。其余的将被丢弃。

主成分分析

输出PCA转换的结果。类似于PCA小部件。

CUR矩阵分解是一种降维方法,类似于SVD。

示例

第一个示例

我们使用了文件(File)小部件的下拉菜单中可用的 heart_disease.tab 数据集。然后我们使用 预处理(Preprocess) 小部件来填充缺失值并标准化特征。我们可以在数据表(Data Table)观察变化,并将其与未处理的数据进行比较。

第二个示例

我们展示了如何使用 预处理(Preprocess) 进行预测建模。

我们使用文件(File)小部件中的 heart_disease.tab (心脏病)数据。可以通过下拉菜单访问数据。这是一个包含 303 名胸痛患者的数据集。测试完成后,发现一些患者的直径变窄(diameter narrowing),而其他患者则没有(这是我们的类别变量)。

心脏病数据缺少一些值,我们希望考虑到这个情况。

  • 首先,我们将使用数据采样器(Data Sampler) 将数据集分为训练数据和测试数据。
  • 然后我们将数据样本发送到 预处理(Preprocess)。我们将使用填充缺失值预处理器,但是您可以在数据上尝试使用任何预处理器组合。我们将预处理数据发送给逻辑回归(Logistic Regression) 小部件,构建模型并预测
  • 最后,预测(Predictions)还需要数据进行预测。我们将使用数据采样器(Data Sampler)的输出进行预测,但这一次不是数据样本,而是剩余数据,这是未用于训练模型的数据。

请注意,我们如何将剩余数据直接发送到预测(Predictions),而不进行任何预处理。这是因为橙现智能会在内部对新数据预处理,以防止模型构造中的任何错误。与训练数据完全相同的预处理过程将用于预测。相同的过程适用于测试和评分(Test & Score)

反馈问题

文档有问题? 或者有其他意见和建议? 请在本文档的 Github 仓库直接反馈

点我反馈

进入反馈页面不知道如何反馈, 请点击这里