Gauss–Newton 与 LM：一步步靠近能解释数据的参数

非线性问题怎样借用线性工具？

当前残差 r=F(θ)−d，线性化后寻找 Δθ 使 r+JΔθ 变小。加权 Gauss–Newton 更新满足：

负号来自残差定义；若定义成 d−F，推导中的符号也相应改变。求出增量后，不一定全量接受，因为线性近似只在局部有效。

LM 的阻尼究竟在做什么？

Levenberg–Marquardt 在近似 Hessian 上增加阻尼：

D 可选适当尺度的单位阵或对角阵。λ 较小时接近 GN，较大时更保守。调整 λ 应根据预测下降与实际下降的吻合，而不是一开始固定一个神秘常数并祈祷收敛。

一次迭代应该记录什么？

记录当前目标函数、梯度尺度、步长、参数范围、阻尼以及正演是否成功。试探新参数后，重新计算真实目标函数；若没有下降或违反约束，应缩步或增大阻尼。更新导致负电导时，不应简单接受再把结果解释成特殊材料。

一个一维小例子

拟合 F(θ)=θ² 到 d=4，初值 θ=1。r=−3，J=2，GN 增量为 1.5，得到 θ=2.5；第二步 r=2.25，J=5，增量 −0.45，得到 2.05。它逐步接近 2，但若从 θ=0 出发，J=0，局部线性化没有有效方向。初值和参数化十分重要。

停止并不等于找到全局答案

步长很小可能是到了极值，也可能是病态、边界或不合适尺度。低梯度还可能对应局部最小值。应用中应使用多初值、合理先验和独立数据检查，并报告收敛判据，而不只给一个“成功”标志。

把一次非线性更新完整展开

令 r=F(θ)−d，局部近似 $r(\theta+\Delta)\approx r+J\Delta$。加上参考模型正则化，最小化这个二次模型得到

λ 控制长期先验，γ 是当前迭代的阻尼，二者目的不同。D 对参数进行尺度平衡。实现时用增广最小二乘或合适的线性求解器，避免不必要的矩阵求逆。

算出方向之后还必须决定是否接受

用真实目标函数评价候选 θ+Δ，与二次模型预测的下降比较：

预测下降为正时，ρ 接近1说明局部近似可靠；若实际目标上升，拒绝试步、提高阻尼或缩短步长。一次线性求解成功并不意味着应该接受它。正值和姿态约束也应在参数化或约束求解中处理。

一个手算更新

取 F(θ)=θ²、观测 d=4，初值 θ=1，则 r=−3、J=2，纯 Gauss–Newton 更新 Δ=1.5，候选 θ=2.5。下一步残差2.25，导数5，更新−0.45，得到2.05。负初值则可能收敛到−2，两个解都解释 d=4。局部算法成功不能替代全局唯一性分析。

应该记录哪些停止理由

尺度化梯度足够小、目标变化很小、步长很小、达到噪声水平，含义各异。最大迭代次数是预算终止，不是收敛证明。对不同初值比较结果，并检查残差在位置、时间和通道上的结构。

研究拓展

目标位置和姿态常产生非凸结构；在固定几何时，部分幅值参数却可能是线性的。利用变量投影或分块消元可降低非线性维度，但应传播其对导数和不确定性的影响。

练习与解析