DiagSplat · controlled RAW-noise experiment · 7 August 2026

NTF-v1 still leads.
Official baselines overfit the noise.

RawNeRF sharpshadow,31 张 ×64 calibrated Bayer-noise 训练图、5 张 clean held-out 测试图。这里把 Vanilla、我们此前的 NTF-v1 / legacy Raw3DGS 复现,以及 HDRSplat 官方仓库里的 HDRSplat 与 Raw3DGS baseline 放到同一 camera-linear 评测口径下。

31 noisy train / 5 clean test1008 × 7567k + 30k checkpointsNTF-v1 · 27.78 dBRepo Raw3DGS · 10.23M GS
Clean target and seven noisy RAW reconstruction variants
Best clean-test PSNR27.78 dBNTF-v1 · 30k
Best LPIPS0.180NTF-v1 · lower is better
HDRSplat 7k → 30k−4.96 dBlate-stage noise overfit
Repo Raw3DGS 30k10.23M55× Vanilla GS count

训练和测试数据单独查看

共享数据页完整展示全部 31 张 noisy training images、5 张 clean test images,以及 clean / noisy / noise-map protocol。所有本页方法使用同一组相机与 split。

Open dataset page ↗

先说结论

我们的核心 idea 仍然有效

NTF-v1 在 PSNR / SSIM / LPIPS 三项上都最好,而且仅 175,689 个 GS;相比 Vanilla 提升 +1.67 dB,没有靠 primitive 爆炸换分数。

这两个 repo baseline 在 ×64 上不稳

HDRSplat 的最佳保存点是 7k,但仍只有 22.86 dB;继续到 30k 降至 17.90 dB。Repo Raw3DGS 从 7k 的 18.26 降到 17.39 dB,并膨胀到 10.23M GS。

它们暴露了两个不同问题

HDRSplat 有去噪与色彩/边界偏差;RawNeRF loss alone 则直接把 Bayer 噪声编码成大量小 Gaussian。NTF-v1 抑制噪声更强,但远处树和细枝仍偏平滑。

统一 camera-linear RAW 指标

MethodIterPSNR ↑SSIM ↑LPIPS ↓Stored primitivesReading
Vanilla 3DGS30k26.11020.83870.2567185,472 GSnoisy control
Legacy Raw3DGS-style Scaffold30k26.36350.75260.32631,917,475 anchorsprevious reproduction
NTF-v1 · asinh30k27.77920.86760.1800175,689 GSbest overall
HDRSplat · PMRID ISO×87k22.86300.84710.19191,014,765 GSbest HDRSplat checkpoint
HDRSplat · PMRID ISO×830k17.89830.70200.20861,098,109 GSlate overfit / color drift
HDRSplat repo “Raw3DGS”7k18.26020.80680.27299,960,661 GSnoise memorization
HDRSplat repo “Raw3DGS”30k17.38970.77970.321210,226,552 GSworst final checkpoint
PSNR SSIM LPIPS and primitive count comparison

公平性说明:表中均直接比较 camera-linear reconstruction 与 clean camera-linear target,不使用 HDRSplat 的 per-image affine / color-corrected PSNR。官方结果中的 color-corrected PSNR3 会把 HDRSplat 30k 提到 28.25 dB,但它依赖每张测试图的 GT 做颜色拟合,不能与 Vanilla / NTF 的无 GT 校正结果直接比较。旧方法是 8-bit linear PNG,新方法是 float NPY,量化差异很小但仍应在最终论文实验中统一。

逐视角视觉对比

切换 test view 与 Full / Tree crop / Error map。点击图片可放大。

任意两方法滑动对比

Left methodRight method

我看到的视觉现象

  • NTF-v1:天空、墙面和暗部最干净,整体结构最稳;代价是树冠、细枝与屋顶线条被明显低通,局部呈现“糊成一团”。
  • HDRSplat 7k:远处树轮廓有时比 NTF 更有纹理,但其中混有彩色噪点,不是可靠的 high-frequency recovery;画面边界还出现 PMRID padding / tiling 伪影。
  • HDRSplat 30k:全局红紫色漂移和低频雾状纹理进一步增强,说明优化在拟合 denoiser bias 与残余噪声。
  • Repo Raw3DGS:细节看似“锐”,放大后主要是高频彩噪;10M GS 是最直接的噪声几何化证据。

对下一步的含义

  • NTF-v1 不是“彻底解决 noise”,而是目前最好的 noise suppression / geometry regularization;它的主要 failure mode 已从噪声小 GS 转为细节过平滑。
  • 最值得做的不是把 HDRSplat 整体并进来,而是借鉴它的 early stopping 与显式 denoised target,同时避免 PMRID 的色偏和边界伪影。
  • 下一轮可做频率自适应 NTF:低 SNR 区维持强压缩,高置信边缘逐步放宽 transfer,并配合 GS growth budget,目标是保住树枝而不重新引入 10M noisy GS。

关键判断:这个 baseline 对比支持我们的方向,但也很清楚地告诉我们:下一阶段要解决的是“去噪与高频保真之间的局部自适应”,不是继续提高全局 denoising 强度。

方法名称与运行状态说明

HDRSplat官方仓库路径:PMRID preprocessing + HDRSplat RAW loss/tuning;PMRID ISO multiplier 设为 8,对应本实验噪声方差 ×64(标准差 ×8)。
HDRSplat repo “Raw3DGS”仓库提供的 baseline 是 original 3DGS + RawNeRF scaled loss;不是完整 NeurIPS Raw3DGS 的 pretrained noise extractor 方法。
Legacy Raw3DGS-style我们先前按论文描述复现的 Scaffold-GS + RawNeRF loss baseline;同样不应称为官方完整 Raw3DGS。
Run status两条训练和 5-view 30k 渲染均完成。由于 /local/scratch-2 已满,repo Raw3DGS 的自动 metrics 写盘中断;本页从已有 5 个 float RAW renders 只读重算 PSNR / SSIM / LPIPS,未删除 checkpoint。
ArtifactsCommon RAW metrics JSON · Previous NTF-v1 / legacy baseline report · Shared dataset page
Expanded comparison