HDRSplat
原始 3DGS + 固定 PMRID Bayer denoiser + bilinear demosaic + 相对 RAW loss / DSSIM + 较低 geometry learning rate。没有 NeRF MLP。
RawNeRF Sharpshadow · calibrated noise x64 · representation audit
RawNeRF loss is not
a NeRF representation.
HDRSplat、Raw3DGS 论文方法和我们跑过的两个 Raw3DGS-style baseline 最终都用 Gaussian 表示场景。它们借用了 RAW 处理、去噪器或 RawNeRF 风格的相对重建损失，但没有把树换成连续 NeRF 体积场。因此，这些结果仍然暴露相同的 foliage / densification 难题。
31 noisy train / 5 clean testdirect camera-linear metricsAbsGS: 28.275 dBNTF-v1: SSIM .8676Repo Raw3DGS: 10.23M GS
Best direct PSNR28.275AbsGS · 30k
Best SSIM0.8676NTF-v1 · strongest suppression
HDRSplat 7k → 30k−4.965dB · denoiser bias / late overfit
Repo Raw3DGS final size10.23MGS · 55× Vanilla
训练与测试数据
所有数值使用相同的 x64 synthetic RAW-noise 训练集、五张 clean held-out 测试图和相同相机。独立数据页包含 training / test examples。
先回答表示问题
名字中出现RawNeRF loss / RAW dataset
改变 photometric objective、颜色空间或噪声处理。
≠
真正的场景表示3DGS / Scaffold-GS
位置、尺度、旋转、opacity 和颜色仍由显式 Gaussian/anchor 存储。
Full Raw3DGS paper
Scaffold-GS + pretrained SID noise extractor + pseudo-clean/noise likelihood 与 RawNeRF-style reconstruction loss。仍是 anchor/Gaussian 表示。
Repo “Raw3DGS” baseline
我们实际运行的是 HDRSplat 仓库里的 original 3DGS + RawNeRF scaled loss + add-points/KNN；不是完整 Raw3DGS 论文系统。
x64 clean-test metrics
均为 direct camera-linear 指标，不用测试 GT 做 affine/color fitting。SAD-GS 使用作者 3k outdoor schedule；其他主方法为 30k，HDRSplat/Repo Raw3DGS 同时展示 7k 和 30k。
| Family | Method | Iter | PSNR ↑ | SSIM ↑ | LPIPS ↓ | Stored primitives | Representation |
|---|---|---|---|---|---|---|---|
| Control | Vanilla 3DGS | 30k | 26.1102 | 0.8387 | 0.2567 | 185,472 GS | 3DGS |
| Ours | NTF-v1 | 30k | 27.7792 | 0.8676 | 0.1800 | 175,689 GS | 3DGS |
| Densification | AbsGS | 30k | 28.2750 | 0.8570 | 0.1943 | 222,306 GS | 3DGS |
| Densification | SAD-GS | 3k | 27.0260 | 0.8362 | 0.1758 | 390,873 GS | 3DGS |
| Paper-inspired | Legacy Raw3DGS-style Scaffold | 30k | 26.3635 | 0.7526 | 0.3263 | 1,917,475 anchors | Scaffold-GS |
| HDRSplat | PMRID ISO×8 | 7k | 22.8630 | 0.8471 | 0.1919 | 1,014,765 GS | 3DGS |
| HDRSplat | PMRID ISO×8 | 30k | 17.8983 | 0.7020 | 0.2086 | 1,098,109 GS | 3DGS |
| Repo baseline | HDRSplat repo “Raw3DGS” | 7k | 18.2602 | 0.8068 | 0.2729 | 9,960,661 GS | 3DGS |
| Repo baseline | HDRSplat repo “Raw3DGS” | 30k | 17.3897 | 0.7797 | 0.3212 | 10,226,552 GS | 3DGS |
HDRSplat 的 GT-color-corrected PSNR3 在 30k 可达到约 28.25 dB，但该数值对每张测试图使用 GT 拟合颜色，只作为 secondary metric；不能替代上表的 native direct reconstruction。x64 还存在 PMRID domain mismatch：noisy input 距 clean 约 34.39 dB，PMRID 输出反而约 32.14 dB。
Held-out visual comparison
“主要方法”检查当前最佳 trade-off；“过拟合轨迹”直接比较 HDRSplat / Repo Raw3DGS 的 7k 与 30k。点击图片看原图。
Tree crop 只改变显示窗口，不改变输出。重点观察：树冠是否出现稳定枝叶结构、暗部是否出现彩噪/大 splat，以及 30k 是否比 7k 增加低频色偏。
为什么结果会这样
HDRSplat 7k 有用，30k 崩掉
- 固定 denoiser 提供比 raw noisy target 更平滑的监督，所以早期 SSIM/LPIPS 尚可。
- PMRID 与合成 x64 noise profile 不匹配，产生颜色、边界和低频 bias；继续优化会把 bias 固化进 Gaussian appearance/geometry。
- 因此 7k 是 early-stopping sweet spot，不是 NeRF 体积场在保护树叶。
Repo Raw3DGS 锐利感来自噪声几何化
- RawNeRF scaled loss 强调暗像素的相对误差，但没有显式 noise extractor 或 pseudo-clean teacher。
- add-points/KNN 在 noisy gradient 上积极增点，7k 已接近 10M GS。
- 视觉上的“细”大量是彩噪和细小 Gaussian；30k PSNR/LPIPS继续恶化。
Legacy Scaffold 表示更复杂仍不等于 NeRF
- Scaffold anchors 能共享/生成局部 Gaussians，但仍是显式 splatting。
- 26.36 dB 略高于 Vanilla，却用 1.92M anchors，SSIM/LPIPS明显更差。
- 说明单换成 Scaffold-GS 并加 relative loss 不能解决高噪声 high-frequency separation。
Abs / SAD / NTF 三种不同 trade-off
- NTF-v1 最会压噪，SSIM最高、GS最少，但树叶被低通。
- AbsGS 修复 gradient collision，PSNR最高、树结构更清楚，但暗部重新出现细粒噪声。
- SAD-GS 恢复最多高频，却把 noisy structure tensor 变成大量错误结构和大块 artifact。
核心结论：HDRSplat 和 Raw3DGS-style baselines 没有验证“NeRF 是否更适合树”，因为它们都仍用 GS 表示。它们验证的是：只换 RAW loss 或加单帧 denoiser，不足以同时解决 noise fitting 与 foliage densification。正在后台训练的真正 RawNeRF x0/x64 才是连续体积表示 oracle；完成后再补到本页。
对下一步的含义
当前最强 GS 基线是 AbsGS
它在 x64 direct PSNR 上领先 Vanilla 2.17 dB，也超过 NTF-v1 0.50 dB。后续方法至少应匹配它的几何细化能力。
不能用 primitive 数量代表真实细节
Repo Raw3DGS 的 10.23M GS 与 SAD-GS 的 artifact 说明，高频和更多 primitives 很容易只是噪声 memorization。
真正的 representation test 仍在进行
如果 RawNeRF 的树显著好于 AbsGS，才支持局部 NeRF/GS hybrid；如果同样模糊，应优先检查树叶运动和跨视图不一致。
Protocol and naming
EvaluationDirect camera-linear RGB
five clean held-out views; no GT fitting
five clean held-out views; no GT fitting
NoiseCalibrated variance x64
training views noisy; test views clean
training views noisy; test views clean
NamingRepo baseline ≠ full Raw3DGS
full paper method has an additional learned noise extractor
full paper method has an additional learned noise extractor
Artifacts: metrics JSON · previous HDRSplat metrics · Raw3DGS paper · HDRSplat repository.