使用正则化避免模型过拟合

一、为什么会过拟合模型太 “自由”权重 w 变得特别大对训练集噪声、异常点过度学习训练集损失极低测试集 / 新数据效果很差直观权重越大函数曲线越扭曲、波动越剧烈二、正则化核心思想在损失函数里多加一项「惩罚项」限制权重 w 不能太大强制参数变平滑、简单模型不要太 “极端”从而抑制过拟合三、逻辑回归 原版损失无正则四、L2 正则化最常用权重衰减1.公式λ正则化系数超参数λ0无正则 λ 越大惩罚越强权重越小越不容易过拟合只惩罚权重 w不惩罚偏置 b行业通用做法2. 作用让所有权重趋近于 0 但不为 0压缩参数大小限制模型复杂度特征全部保留适合大部分场景逻辑回归默认 L2五、L1 正则化稀疏化1. 公式2. 作用会让不重要特征的权重直接变成 0自动特征选择、降维产生稀疏模型特征多、冗余大时好用六、关键总结过拟合本质参数 w 过大模型太复杂正则化本质惩罚大权重限制模型复杂度L2 正则权重变小、平滑、通用首选L1 正则权重置零、自动筛特征λ 调参太小 → 正则弱依旧过拟合太大 → 权重被压太小欠拟合七、延伸逻辑回归过拟合时部分 w 爆炸式变大加 L1/L2 惩罚强行按住 w完美闭环。