实验设计与复现:让结论经得起再次测量
从研究假设到实验矩阵、数据记录、验证与复现。
展开本章阅读路线(11 节)
先写下可能被证伪的假设
“双极激励更好”太宽泛。可以改成:在指定噪声与系统校准条件下,增加某类激励能降低某个参数方向的方差,且在留出目标上保持预测效果。这样的表述明确了对象、条件、指标和失败判据。
先用合成数据检查机制和代码,再用已知、无危险的参考物验证系统,最后使用有适当来源和权限的实测数据评价外推。合成实验证明模型内部是否一致,不能独自证明现实世界也满足这些假设。
一个可执行的实验矩阵
例如选择 3 个尺寸尺度、3 个姿态、2 个距离和 2 类波形,共 36 个条件。每个条件重复 5 次,形成 180 次记录。这个数量只是教学示例;真正选点应依据成本、参数敏感性和研究问题,而不是机械遍历所有组合。
随机化采集顺序可以减少时间漂移与某个参数水平混杂,但研究磁滞历史时又必须保留规定顺序。应把“随机区组”和“受控历史序列”区分清楚。
每条记录应能回答五个问题
记录目标或参考物编号及已知尺寸;记录发射电流实际波形和时间零点;记录传感器位置、方向、温度和系统设置;记录背景与标定版本;记录处理脚本和参数。原始数据只读保留,处理结果单独存放,避免无法回溯。
验证应覆盖不同层级
数值层验证公式、导数和收敛;物理层验证守恒、极限和参考物响应;统计层验证噪声、区间与独立预测;研究层验证结论是否超出了样本范围。每一层使用不同证据,不能互相替代。
数值例子:比较两种方案
方案 A 和 B 在同一批目标上测量,应比较每个目标的配对差值,而不是把所有扫描当作互不相关样本。若改进只集中在一个容易目标,平均指标可能掩盖其他目标的退化。应同时展示分组与总体结果。
实验矩阵应让不同解释产生不同预测
假设 A 认为变化来自材料非线性,假设 B 认为来自接收增益。只改变一个激励幅值可能不足以区分;加入参考通道、重复背景和不同历史序列,才能使两种解释留下不同证据。实验设计的目标不是收集最多数字,而是检验具体命题。
从 Fisher 信息到实际可执行的设计
对候选设计 s,局部信息为 。可以比较多个发射方向、测点和时间门的总信息,寻找能改善最弱特征方向的组合。如果参数尚不确定,应在一组可能参数上平均或采用保守设计,避免只对一个猜测目标最优。
怎样避免“逆犯罪”
如果合成数据和反演使用完全相同网格、离散式和模型,结果只验证了内部一致性。逐步增加不同网格、不同前向几何、波形偏差和真实背景,再观察结论是否成立。每一种偏差单独改变,才能知道失效是由哪个假设引起。
复现实验的最小记录
保存原始通道、实际发射电流、位置与姿态、单位、时间零点、门边界、标定版本、背景记录、处理参数、随机种子和模型版本。发布的数据划分以实物或测次为单位,生成派生窗口时沿用该划分。实验报告同时给出失败案例,不只展示最佳拟合图。
深入练习:算法 A 比 B 快十倍,怎样才算公平比较?
需要相同观测定义、精度要求、初始化、停止准则和硬件范围。学习方法还应分别报告训练成本、数据生成成本与单次推断成本。只有计算其中一段会误导实际使用成本。
研究拓展
复现包应包含数据字典、单位与坐标约定、环境版本、固定随机种子、处理顺序和从原始数据到图表的步骤。随机种子使合成例子可重复,但不能修复物理假设错误或数据泄漏。
练习与解析
1. 为什么应保留未经滤波的原始数据?
滤波可能不可逆,并会改变噪声相关性与早期响应。保留原始数据才能复查处理影响和尝试新模型。
2. 一次参考物误差很小,怎样进一步检验?
改变位置、姿态、激励和测量日期,并在未参与拟合的条件下预测;同时记录噪声和系统漂移。
参考文献与继续学习
- US EPA · Advanced Geophysical Classification for Munitions Response地球物理分类与质量计划的背景资料;不能替代项目适用的现场程序。
- SimPEG · Simulation and Parameter Estimation in Geophysics官方项目入口与可复现正反演实例。本教材的浏览器实验是教学模型,不运行完整 SimPEG 求解器。
- MIT 18.05 · Introduction to Probability and Statistics随机变量、条件概率、统计推断与区间估计;本科公开课。
- Heagy et al. (2024) · Machine learning methods for the classification of UXO from electromagnetic data in marine settingsEMIW 2024扩展摘要;已读本地摘要与方法开头。合成偶极、实测背景及海洋分类图,非完整期刊复现。
外部链接需联网,部分论文全文需要机构访问。页面内容为原创教学解释;文献用于核对理论和进一步阅读。资源链接核对日期:2026-09-12。