先生成特征，再按概率决定标签
p(y=1|x) = σ(x₂ − 0.42x₁² + 0.08x₁ + 0.65)/τ
x₁、x₂ 来自截断高斯分布；τ 由“数据噪声”控制。τ 越高，边界附近两类样本越容易交叠。
75% 分层训练集25% 独立测试集Train-only 标准化
INTERACTIVE ML NOTEBOOK · 交互式机器学习笔记
把正则化
看见。
拖动 λ、切换梯度策略与特征空间。每次点击都真正执行一次逻辑回归训练，不是预录动画。
本次实验问题
模型边界何时弯曲，
又为何变得平滑？
又为何变得平滑？
从同一批带噪数据出发，仅改变优化方法、特征与正则强度。
01
LIVE EXPERIMENT
决策边界训练台
类别 1
类别 0
测试集
模型边界
生成真边界
点击「开始训练」观察边界生长
x₁ · 标准化前的原始特征x₂ ↑
01
梯度策略一次用多少训练样本
02
特征空间决定边界能否弯曲
03
正则强度 λ惩罚权重，不惩罚偏置
0.01.1110100
04
训练轮数达到目标后自动停止
动画速度
0.00 / 60 epoch · 更新 0 次
02
DATA PROTOCOL
数据怎样被构建？
实验数据可复现，但不会“整齐得不真实”。每个标签来自概率采样，因此边界附近自然存在重叠。
REPRODUCIBLE RANDOMNESS120 train / 40 test
先用默认数据理解模型，
需要时再展开高级设置。
同一种子会重现完全相同的数据、标签与划分，便于公平比较不同 λ 和模型。
数据与步长设置样本、噪声、标签错误、学习率、早停
①仅训练集参与梯度
测试集从不参与参数更新。
②偏置项不正则化
L2 只收缩特征权重。
③交叉熵 + L2
训练目标含 L2；图中损失不含惩罚，便于训练/测试公平比较。
④早停可开关
普通实验开启；过拟合演示关闭并固定训练轮数。
03
BEGINNER'S MAP
不要只看边界：这样判断过拟合
单个指标没有通用阈值。最可靠的是在同一数据、同一特征空间下做对照，并寻找多个信号同时出现。
训练损失 ↓，测试损失 ↑
模型继续迎合训练样本，但对没见过的数据变差。这是最典型的过拟合轨迹。
训练准确率高，测试准确率低
两者差距称为“泛化差距”。差距持续扩大，比单看某个准确率更有意义。
权重范数 ‖w‖ 很大
说明模型依赖更极端的参数。请只在相同数据和特征尺度下比较；λ 增大通常会把它压小。
边界出现不必要的弯曲
弯曲本身不等于过拟合；真实规律也可能是弯的。必须结合测试损失和泛化差距判断。
CAUSE → EFFECT
参数改变后，先影响什么？
λ 正则强度λ ↑→权重 ‖w‖ ↓→边界通常更平滑适量可减轻过拟合；过大会欠拟合。
特征次数次数 ↑→参数数量 ↑→可拟合更复杂边界表达力更强，也更容易追随噪声。
样本量样本 ↑→估计更稳定→泛化通常更好小数据配复杂模型更容易过拟合。
噪声 / 标签翻转噪声 ↑→矛盾样本 ↑→测试更困难标签翻转模拟测量或标注错误。
训练轮数轮数 ↑→训练损失继续降→测试损失可能回升轮数本身不是越多越好。
学习率 αα ↑→每步更大→更快或震荡它主要影响优化过程，不直接控制模型复杂度。
04
先看欠拟合
保持 λ = 0.1，先选「线性」再训练。直线无法还原弯曲的真实边界，训练与测试准确率都会受限。
再看正则化
选择「二次」，先试 λ = 0，再改为 0.1。观察边界稳定性、权重大小与测试损失。
最后看过度收缩
将 λ 拉到 10。权重被强行压小，边界逐渐失去曲率；这是正则过强造成的欠拟合。
一键制造过拟合
80 个样本、六次特征、12% 标签翻转、λ = 0，并关闭早停训练 200 轮。重点看训练与测试损失分叉。