随机梯度下降(Stochastic Gradient Descent)

使用梯度下降的随机逼近最小化目标函数。

输入

  • 数据:输入数据集
  • 预处理器:预处理方法

输出

  • 学习器:随机梯度下降学习算法
  • 模型:训练过的模

功能

随机梯度下降(Stochastic Gradient Descent) 小部件使用随机梯度下降,该函数通过线性函数将所选损失函数最小化。该算法通过一次考虑一个样本来逼近真实梯度,并同时基于损失函数的梯度更新模型。为了进行回归,它将预测变量作为总和的最小化变量(即M估计量)返回,对于大规模和稀疏数据集特别有用。

界面

  1. 指定模型名称。 默认名称为“SGD”。
  2. 算法参数:
    • 分类损失函数:
      • Hinge (linear SVM)
      • Logistic Regression (logistic regression SGD)
      • Modified Huber (smooth loss that brings tolerance to outliers as well as probability estimates)
      • Squared Hinge (quadratically penalized hinge)
      • Perceptron (linear loss used by the perceptron algorithm)
      • Squared Loss (fitted to ordinary least-squares)
      • Huber (switches to linear loss beyond ε)
      • Epsilon insensitive (ignores errors within ε, linear beyond it)
      • Squared epsilon insensitive (loss is squared beyond ε-region).
    • 回归损失函数:
      • Squared Loss (fitted to ordinary least-squares)
      • Huber (switches to linear loss beyond ε)
      • Epsilon insensitive (ignores errors within ε, linear beyond it)
      • Squared epsilon insensitive (loss is squared beyond ε-region).
  3. 正则化规范以防止过度拟合:

    正则化强度定义将应用多少正则化(我们进行正则化越少,我们允许模型拟合数据的程度就越多)以及混合参数(L1 和 L2 损失之间的比率将是多少)(如果设置为 0,则损失为 L2 ,如果设置为 1,则为 L1)。

  4. 学习参数.
    • 学习率:
      • 常数: learning rate stays the same through all epochs (passes)
      • 最优的: a heuristic proposed by Leon Bottou
      • 反比例: earning rate is inversely related to the number of iterations
    • 初始学习率
    • 反比例指数:学习速率衰减。
    • 迭代次数:通过训练数据的次数。
    • 如果启用在每次迭代后随机化数据,则每次通过后都会混排数据实例的顺序。
    • 如果固定随机化种子处于启用状态,则该算法将使用固定的随机种子并允许复制结果。
  5. 发送报告
  6. 勾选 “自动应用” 以自动传送对其他小部件的更改,并在连接学习数据后立即训练分类器。 或者,在配置后按 “应用”

示例

对于分类任务,我们将使用 iris 数据集并在其上测试两个模型。 我们将 随机梯度下降(Stochastic Gradient Descent)树(Tree) 连接到测试与评分(Test & Score)。 我们还将文件(File) 连接到 测试与评分(Test & Score),并在小部件中观察了模型的性能。

对于回归任务,我们将比较三种不同的模型,以查看预测哪种结果。出于本示例的目的,使用了 housing 数据集。 我们将 文件(File) 连接到 随机梯度下降(Stochastic Gradient Descent)线性回归(Linear Regression)k 近邻(kNN) 小部件,然后将全部四个添加到预测(Predictions) 小部件。

反馈问题

文档有问题? 或者有其他意见和建议? 请在本文档的 Github 仓库直接反馈

点我反馈

进入反馈页面不知道如何反馈, 请点击这里

更新时间: