岭回归:一种线性回归的正则化方法,通过在损失函数中加入 L2 惩罚项(系数平方和),来减小模型系数、缓解多重共线性,并降低过拟合风险。常见形式是最小化
(|y - X\beta|^2 + \lambda |\beta|^2)。
(在统计学中也常被称为 Tikhonov regularization;“ridge”指目标函数形状像“山脊”。)
/rɪdʒ rɪˈɡrɛʃən/
Ridge regression shrinks the coefficients to reduce overfitting.
岭回归会收缩回归系数,以降低过拟合。
When predictors are highly correlated, ridge regression often yields more stable estimates than ordinary least squares.
当自变量高度相关时,岭回归通常比普通最小二乘法给出更稳定的估计。
“Ridge”原意为“山脊、脊线”。在岭回归中,加入的 L2 惩罚会使优化问题的等高线/解的几何形状呈现类似“山脊”的特征,因此得名。该方法在 20 世纪 60–70 年代被系统化提出,用于应对线性回归中的多重共线性与估计不稳定。