梯度提升(Gradient Boosting)

在决策树上使用梯度提升进行预测。

输入

  • 数据:输入数据集
  • 预处理器:预处理方法

输出

  • 学习器:梯度提升学习算法
  • 模型:训练过的模型

功能

梯度提升 是用于回归和分类问题的机器学习技术,它集成一组弱预测模型(通常为决策树)生成预测模型。

除了 Gradient Boosting (scikit-learn), 其他所有算法需要自己手动安装

界面

  1. 指定模型名称。 默认名称是“梯度提升(Gradient Boosting)”。
  2. 选择一种梯度提升算法:
  3. 基本属性:
    • 树数量:指定将包含多少棵梯度增强树。通常,数量多会导致更好的性能。
    • 学习率:指定提升的学习率。学习率缩小每棵树的贡献。
    • 可重复训练:固定随机种子,从而使结果可复制。
    • 正则化:指定 L2 正则化项。 仅适用于 xgboostcatboost 方法。
  4. 生长控制:
    • 限制单个树深度:指定单个树的最大深度。
    • 不要分割小于...的子集:指定可以分割的最小子集。 仅适用于 scikit-learn 方法。
  5. 下采样:
    • 训练实例的比例:指定拟合单个树的训练实例的百分比。 适用于 scikit-learnxgboost 方法。
    • 每棵树的特征比例:指定构造每棵树时使用的特征百分比。 适用于 xgboostcatboost 方法。
    • 每层的功能比例:指定每层使用的特征百分比。 仅适用于 xgboost 方法。
    • 每个分割的特征比例:指定每个分割使用的特征百分比。 仅适用于 xgboost 方法。
  6. 发送报告
  7. 勾选 “自动应用” 以自动传送对其他小部件的更改,并在连接学习数据后立即训练分类器。 或者,在配置后按 “应用”

示例

对于分类任务,我们使用 heart disease 数据。 在这里,我们比较测试与评分小部件中的所有可用方法。

安装方法

如果要安装其他 python 库, 首先需要知道此库名称, 如 xgboost

下面以安装 xgboost 为例说明

  1. 打开 升级与插件 窗口, 点击窗口右上角 添加更多

  2. 输入名称, 如 xgboost

  3. 选中此库后, 点击 OK 安装

最后重启软件即可使用.

注: xgboost 还需要其他安装配置, 详见其文档

反馈问题

文档有问题? 或者有其他意见和建议? 请在本文档的 Github 仓库直接反馈

点我反馈

进入反馈页面不知道如何反馈, 请点击这里