配准总览与研究叙事

info
使用方式

本页是论文叙事与实验口径的总纲。先读第 1–2 节确定问题和坐标协议，再读第 3–7 节理解方法链，最后按第 8–11 节核对指标、实验安排和主张边界。历史诊断协议与正式实验已明确分开。

warning
新数据几何流程修正（2026-08-27）

新数据正式口径见视觉配准统一主笔记的正式坐标协议：原始 VIS 1920×1080 与完整 IR 640×512 先按标定 footprint 统一裁成 1218×975，再共同裁取 (1,31,1216,912) 并等比例缩放为 640×480。精配准直接在 640×480 中只移动 IR，越界截断、空缺补黑，VIS 不再裁剪；最终直接输出 640×480，不反算。本文凡涉及独立中心裁剪或精配准后共同裁 VIS 的段落均不适用于该正式流程。

本笔记只保留当前有效的方法链和实验口径。旧语义选择器、强剪枝配置和三级质量等级均为已废弃探索，不再进入当前方法、表格或结论。

1. 论文要回答的问题

森林火灾场景中的可见光与热红外图像同时存在跨模态外观差异、设备视场差异、动态火焰和烟雾干扰。论文不追求堆叠多个独立配准器，而是围绕 XoFTR 解决两个具体问题：

  1. XoFTR 的精匹配阶段存在计算冗余，如何在固定预算下保留更有结构价值的 correspondence；
  2. XoFTR 仿射候选偶尔会出现异常尺度、旋转或平移，如何避免明显不可信的矩阵成为最终输出，并对剩余小平移进行轻量修正。

当前方法可概括为：

正式公共视场预处理
        ↓
XoFTR coarse matching
        ↓
全局梯度 Top-K（K=1024）
        ↓
XoFTR fine matching + affine RANSAC
        ↓
固定几何有效性检查
        ↓
全局梯度响应 + 独立ROI匹配残差位置先验
        ↓
唯一最终变换矩阵

2. 正式实验预处理

正式 200 对和 FF-VI3083 实验采用公共视场口径：

原始 VIS 与原始 IR
        ↓
完整 IR 按标定 scale、dx、dy 映射到 VIS
        ↓
VIS/IR/Mask 第一次统一裁成 1218×975
        ↓
共同裁取 (1,31,1216,912)
        ↓
共同等比例缩放到 640×480
        ↓
各方法在固定 640×480 中估计精配准
        ↓
只变换 IR，VIS 不动，直接输出 640×480

原则：

  • 不把上下或左右暗像素直接当作黑边裁除；
  • unsupported 由几何支持掩膜计算，而不是由热红外灰度值判断；
  • 不使用生成式补全；
  • 所有方法使用相同的第一次裁剪、第二次共同裁剪和缩放逻辑；
  • 精配准后不得按方法或样本重新裁 VIS；
  • 正式公共视场实验与下文20对中心裁剪诊断不可混用。

3. 为什么以 XoFTR 为核心

统一 baseline 包括 XoFTR-only、LoFTR、SuperPoint+LightGlue、DISK+LightGlue、SIFT、SURF、ORB、ECC-Affine 和 NGF。比较重点不是要求每项指标都由同一方法占优，而是检查 correspondence 稳定性、异常几何、消防员/火根/静态结构、连续指标、运行时间和矩阵成功数。

现有筛选支持把 XoFTR 作为跨模态 correspondence backbone。传统局部特征和直接优化方法保留为 baseline；ECC 不作为第二个完整配准器。旧 ECC 路径只保留矩阵优化之前的灰度与梯度响应，全文统一称为“梯度信息”。

4. 全局梯度 Top-K

XoFTR 的主要可压缩部分位于 coarse matching 之后的 fine refinement。第一阶段只比较相同输入、相同环境下的 Top-K 预算曲线，用于证明 fine correspondence 存在冗余。

当前默认预算为 K=1024。梯度信息取自原 ECC 路径中矩阵优化之前的灰度与梯度响应；删除 ECC optimizer、warp matrix 和二次全局配准。

梯度信息在前端用于衡量 coarse correspondence 的局部响应。前端不使用ROI，不进行ROI分层，也不改变总预算 K。

当前方法不再使用旧的 Semantic score 融合或前端ROI分配。ROI只在XoFTR之后建立独立的任务区域残差位移先验。

5. XoFTR affine 与固定几何有效性检查

XoFTR 精匹配点经 affine RANSAC 生成候选矩阵。随后执行固定工程有效性检查：

  • 内点数不少于12；
  • 内点率不低于0.05；
  • 仿射线性部分行列式为正；
  • 两个奇异值位于0.80–1.20；
  • 平移模长不超过120 px（640×480坐标）。

该机制只用于 Ours 及其消融，其目的是识别并纠正XoFTR的异常仿射结果：若候选不满足上述条件，就撤销该错误仿射，并从当前输入态调用仍然存在的后端纠正分支。每次触发单独记录为 xoftr_correction_N，不能伪装成原XoFTR仿射成功。

Baseline 的矩阵估计失败时，输出未修正输入，增益记0，并单独报告 matrix_success_N；不为 baseline 添加 Ours 的后置补偿。

6. 全局梯度与独立ROI匹配残差后置平移

后置模块只估计二维平移，用于修正 XoFTR affine 后仍残留的小范围位移。它不再估计新的仿射矩阵，不做前置平移，也不做像素级局部形变。

ROI 来自自动检测，优先使用消防员，缺少消防员时使用火区。ROI分支不读取梯度：它筛选可见光端点位于ROI内的XoFTR匹配，计算初始变换后的残差 e_i=x_i^V-π(Hx_i^T)，再以匹配置信度为权重估计稳健中位位移，并构造高斯位置先验。无ROI或ROI残差证据不足时自动退化为仅全局梯度响应。

全局梯度响应与ROI残差位置先验均限制在 ±20 px 范围。ROI可靠度 q_R 同时考虑检测置信度、残差一致簇数量和一致比例，融合权重为 0.65q_R。最终平移与已接受的 affine 相乘，形成唯一最终矩阵。

因此，现行表述必须明确：ROI 会通过后置平移影响最终几何位置；不能再写“ROI不改变几何位置”。

7. 当前完整方法与消融定义

完整方法加四项消融，共五组：

  1. 完整方法：全局梯度 Top-K + 全局梯度响应/ROI匹配残差融合纠正；
  2. 去ROI：全局梯度 Top-K + 仅全局梯度纠正；
  3. 去梯度：Confidence Top-K + 仅ROI匹配残差纠正；
  4. 去前端引导：Confidence Top-K + 全局梯度响应/ROI匹配残差融合纠正；
  5. 去后端纠正：全局梯度 Top-K + 不做后置纠正。

五组均使用相同 K=1024、XoFTR affine、固定几何有效性检查和评价协议。ROI残差分支与梯度分支相互独立，因此“去梯度”可以只保留ROI残差，“去ROI”可以只保留全局梯度。消融名称不得再混入 Structural、Semantic selector、局部补偿或旧多候选流程。

8. 评价指标

20对诊断实验的全局GNCC和MI固定在中心480×360矩形上计算。所有方法逐对使用同一组像素坐标，评价集合不得依据某一方法的输出支持域动态变化。无效warp区域保留在固定评价矩形内，其几何支持缺失由unsupported单独报告。暗像素不等同于无支持像素。

每组报告before组均值、after组均值、组均值相对变化百分比，以及配对绝对增益的中位数、Q1、Q3和IQR。

ROI固定为160×120。存在自动ROI时即使用同一固定窗口评价，并报告 ROI_valid_N；无ROI时记N/A，不得用0填充后参与均值。

  • global_unsupported_percent：最终整幅640×480中无几何支持像素的百分比；
  • ROI_unsupported_percent：最终160×120 ROI中无几何支持像素的百分比。

二者均是绝对最终支持缺失率，不是相对增益，也不是黑色像素比例。

统一时间字段为 core_mean_time_ms 和 core_P95_time_ms。逐对时间在相应路径预热后正式计时一次；不做3次重复中位数。计时包含匹配、梯度信息、RANSAC、固定有效性检查和后置微调；排除YOLO、模型加载、中心裁剪预处理、I/O和图片导出。CUDA计时前后同步。

当前实验不生成旧三级质量等级，也不用旧success字段判断算法优劣。主结果使用连续指标、矩阵成功数、ROI有效数、XoFTR异常纠正数、unsupported、耗时、人工landmark和视觉审查。

9. 20对受控扰动诊断实验（历史独立协议，不代表正式预处理）

20对实验只用于实现核查和小样本受控扰动诊断，不替代正式200对或3083实验，也不用于显著性检验或宣称总体最优。

该历史诊断曾让 VIS 和 IR 分别独立中心裁取最大 4:3 区域再缩放到 640×480，未使用标定公共视场。此做法仅用于追溯既有20对诊断，禁止用于当前正式数据或重跑正式结论；新正式实验必须采用本笔记第2节的统一标定流程。

  • clean：中心裁剪后的原输入；
  • perturbed：在clean IR上人为施加左移8 px、下移5 px。

该扰动是实验输入，不是方法的前置修正。所有方法对clean和perturbed使用相同20对、相同自动ROI和相同参数。

14种方法 × 20对 × 2条件 = 560条

clean和perturbed分别生成同构汇总，包含四项GNCC/MI gain、两项unsupported、core mean/P95 time、matrix success N、ROI valid N及Ours XoFTR correction N。

每项保存VIS、输入IR、registered IR、0.62:0.38 Inferno叠加图和checkerboard。视觉标签仅为：可用、局部残差、整体失败、不可判断。判断顺序为静态结构、消防员主体、火根、尺度与方向；动态火焰形态不单独作为失败依据。

10. 正式实验安排

  1. 20对统一口径实验只负责验证实现、指标和典型失败；
  2. 固定当前方法与指标后，在正式200对公共视场协议上重跑所有baseline、完整方法和四项消融；
  3. 使用36对人工landmark报告RMSE≤5、≤10、≤20及分布；
  4. 最后扩展到FF-VI3083，报告全量连续指标、失败数、运行时间与分序列视觉抽查；
  5. 融合等下游任务在配准结果冻结后单独评价，不反向修改配准指标。

11. 当前论文主张边界

可以主张：

  • XoFTR是该任务中更合适的跨模态correspondence backbone；
  • 全局梯度 Top-K 用于在固定预算下压缩 fine refinement；
  • 同一梯度信息在前端用于排序，在后端用于全局小平移估计；
  • ROI不参与前端选择，仅通过XoFTR匹配残差形成独立的位置先验；
  • 固定工程有效性检查阻止明显异常affine直接输出；
  • 方法最终只输出一个全局变换矩阵。

暂时不能主张：

  • 20对结果证明总体最优；
  • Semantic Cue主导 correspondence selection；
  • ROI对最终矩阵没有影响；
  • XoFTR异常纠正机制等同于物理标定或数据驱动可靠性模型；
  • 自动指标能够完全替代几何真值或视觉审查。