DiagSplat · controlled causal experiment · 8 August 2026

高噪声有效,低噪声失效。
机制成立,但固定 NTF-v1 不成立。

RawNeRF sharpshadow,31 train / 5 clean held-out test,x0 / x4 / x16 / x64 calibrated noise sweep。结果给出了非常清晰的交叉曲线:NTF 相对 Vanilla 的 PSNR 从 −6.26 dB 单调改善到 +1.67 dB;它确实针对高噪声工作,但必须在低噪声时退化为 identity。

30k iterationscamera-linear metricsclean test at every scalex64: +1.669 dBx0: −6.262 dB
High-noise gain · x64+1.67 dBPSNR, with SSIM & LPIPS gains
Clean-control failure · x0−6.26 dBfixed transfer is not identity
LPIPS gain · x64−0.0770.257 → 0.180, lower is better
Full queue runtime39m 50ssweep + original RAW baselines

训练与测试数据单独查看

数据页可在同一 31 张训练视角之间切换 x0/x4/x16/x64,并展示全部 5 张 clean held-out test views。所有数值结论均建立在这个固定 split 上。

Open data page ↗

先说科学结论

高噪声机制得到因果支持

随着合成噪声变强,NTF 相对 Vanilla 的 PSNR 差距持续收窄并在 x64 反超;x64 的 PSNR、SSIM、LPIPS 同时改善,不是单一指标偶然波动。

当前固定强度版本必须淘汰

x0 与 x4 分别损失 6.26 和 5.40 dB。视觉上不是轻微平滑,而是高光立面的拖影与能量扩散。它违反 clean control ≤0.2 dB 的预设门槛。

论文 claim 不能依赖 GS 数量

Gaussian 数量没有随 noise 单调增长;NTF 在 x4/x16 反而比 Vanilla 更多。现阶段应把 claim 放在 clean-view generalization 和 noise/detail trade-off,而不是“必然减少 GS”。

Noise sweep 数值

NoiseMethodPSNR ↑ΔPSNRSSIM ↑ΔSSIMLPIPS ↓ΔLPIPSGaussians
x0Vanilla27.99000.89520.2354215,040
NTF-v121.7280−6.26200.8609−0.03440.2223−0.0131191,648
x4Vanilla28.26880.89330.2385189,358
NTF-v122.8677−5.40110.8750−0.01820.1878−0.0508254,935
x16Vanilla27.71190.88400.2407196,779
NTF-v126.2261−1.48580.8912+0.00710.1720−0.0687236,104
x64Vanilla26.11020.83870.2567185,472
NTF-v127.7792+1.66890.8676+0.02880.1800−0.0767175,689

Δ 均为 NTF − Vanilla;LPIPS 越低越好。x64 复用此前已完成的 30k checkpoint,x0/x4/x16 在本轮双卡并行训练。

交叉曲线是最重要的结果

302826242220x0x4x16x64VanillaNTF-v127.7826.11

NTF − Vanilla PSNR

中心线为 0 dB。趋势单调改善,但只有 x64 穿过零线。

x0
−6.26
x4
−5.40
x16
−1.49
x64
+1.67

解释:这不是“NTF 总体更好”,而是 NTF 的 bias–variance trade-off 随噪声改变。在低噪声区,transform bias 主导;高噪声区,抑制 noise fitting 的收益超过 bias。

Noise sweep 视觉对比

选择 noise 与 held-out view。点击图片放大。

低噪声失败长什么样

  • x0 NTF 在强高光立面产生大面积拖影、光晕和跨结构能量扩散。
  • 暗部与车体的大轮廓仍然存在,所以 LPIPS 没有像 PSNR 一样崩溃;这更像强 photometric bias,而非完全几何失败。
  • x4 仍处在 bias 主导区,因此降低 LPIPS 的“平滑”不能补偿线性强度误差。

高噪声成功还缺什么

  • x64 NTF 的建筑窗框、屋顶和车体更稳定,Vanilla 的噪声/漂浮纹理被明显压制。
  • 远处树冠仍被压成低频团块,边缘有少量亮色 speckles;这对应此前观察到的 high-frequency 缺失。
  • 所以 v2 应该保留高噪声背景的强抑制,同时只在多视图一致的高置信边缘恢复细节。

Original clean RAW baseline

MethodIterDirect RAW PSNR ↑SSIM ↑LPIPS ↓Interpretation
Vanilla 3DGS30k27.9900.8950.235best direct linear PSNR
NTF-v130k21.7280.8610.222fixed transform bias on clean control
HDRSplat7k21.7400.8980.159best HDRSplat PSNR checkpoint
HDRSplat30k19.3520.9130.143structure improves, radiometry drifts
Repo Raw3DGS+KNN7k18.7410.8870.177visible residual high-frequency noise
Repo Raw3DGS+KNN30k17.6820.8870.181late checkpoint degrades

这些数字来自当前 direct RAW evaluator,可作为工程判断;在论文级并排表中使用前,仍应审计 Vanilla 与 HDRSplat 的 normalization、demosaicing 和 render tensor 定义是否逐像素一致。HDRSplat 页面展示图使用其显示 pipeline,不能凭肉眼亮度直接解释 direct RAW PSNR。

Baseline visual checkpoint comparison

预设 decision gates:通过了什么,失败了什么

Gate
Observed
Decision
x0 degradation ≤0.2 dB
−6.262 dB
Fail:必须 identity/noise gate
x16/x64 ≥+1 dB
x16 −1.486;x64 +1.669
Partial:只在极高噪声成立
SSIM/LPIPS also improve
x64 两者都改善
Pass at x64
gain grows with noise
−6.26 → −5.40 → −1.49 → +1.67
Pass:最强因果证据
abnormal GS does not grow
counts non-monotonic; NTF x4/x16 larger
Inconclusive:不能用总数作主 claim

下一步:把 NTF 从固定 transform 改成可退化的策略

最低风险的 NTF-v2

  1. 全局 noise gate:先用标定噪声强度决定 α,优化 (1−α)L_linear + αL_NTF;强制 x0 的 α=0,而不是让零噪声参数进入仍有偏差的 transform。
  2. 线性域锚定:即使 α 较大,也保留低权重 linear radiance term,限制高光能量扩散和全局亮度漂移。
  3. 像素级 SNR gate:背景暗部强 NTF;高 SNR、跨视图一致的边缘降低 NTF 强度。
  4. 两阶段恢复细节:densification 结束后冻结 geometry,只在可靠边缘放宽 appearance loss,避免重新生成 noisy GS。

最省实验时间的验证顺序

  1. 只在 x0/x4/x16/x64 上跑 α∈{0,.25,.5,.75,1} 的短程 7k sweep,找出随噪声单调的 gate。
  2. 用 30k 复验四个最佳 α;目标是 x0 ≥Vanilla−0.2 dB,并保持 x64 ≥Vanilla+1 dB。
  3. 增加高光区域 PSNR 与 edge LPIPS,确认不是靠全局变暗或模糊换分。
  4. 对 Gaussian scale/aspect ratio 做分布分析;若总数仍不随 noise 变化,就正式放弃“数量减少”主叙事。
  5. 完成 normalization audit 后再将 HDRSplat/Repo Raw3DGS 放入论文主表。

当前 go/no-go:不应该放弃 idea;应该放弃“固定强度 NTF-v1”。交叉曲线已经提供了值得继续的机制证据,而 x0 失败也直接给出了下一版必须解决的设计约束。

运行与原始结果

StatusComplete · 2026-08-08 18:02:25–18:42:15 BST · no active process
Sweep runtimedataset generation ≈2 min; x0/x4/x16 dual-GPU sweep ≈14 min; x64 reused
Baseline runtimeHDRSplat + repository Raw3DGS preprocessing/training/evaluation ≈23 min
Raw artifactssweep summary JSON · HDRSplat direct RAW JSON · Repo Raw3DGS direct RAW JSON
Disk warning/local/scratch-2 currently has about 64 GB free and is 99% used; this run added ≈4.1 GB outputs.
Expanded reconstruction