Pooling 规则 vs 人眼 MOS（DSIS pilot）
7 名被试，84 个视频，8 个场景，未剔除任何被试。每个场景内：把该场景全部视频（所有 shot 合在一起）按 MOS 和按规则分数各排一次名次，求 Spearman 相关（SRCC）。 8 个场景的 SRCC 在 Fisher z 空间平均：等权 = 每个场景一份；加权 = 权重为视频数 − 3，视频多的场景说了算。
1. 在 makeway 上调参，在其余场景上测试
每个规则的参数在 makeway 的 19 个视频上做网格搜索，取与 MOS 的 SRCC 最高的一组（平局时取 PLCC 更高的，再平局取离默认值最近的），然后固定参数，在其余 7 个场景的 65 个视频上评估。每个规则在同一横轴上画三次：左边是 7 个留出场景的 SRCC 场景平均（Fisher z，和本页其他部分一样按 n − 3 加权）；中间是同样的场景平均但各场景等权，会被小场景（heros3 和 ratchet，各 5 个视频）抬高；右边是 65 个留出视频合在一起算的一个 SRCC，场景之间的差异也会算进去。两种场景平均都只比较同一场景内的视频。各行按调参后的加权场景平均排序。虚线是 mean 在同一种算法下的值。这里的逐帧分数来自完整的 540 帧视频，所以 CVVDP 的数值和第 2 部分（逐 chunk 拼接的分数）略有不同。
结论：调参大多把规则推向简单平均（percentile p = 100、last_frames_mean 取全部帧、τ = 1920 帧时权重几乎均匀）。VMAF 和 PSNR-Y 上没有调参后的规则明显超过 mean。CVVDP 上，exp_weighted_minkowski（p = 4，τ = 1920）的场景平均达到 0.64，mean 为 0.52；但 65 个视频合在一起算只有 0.51 对 0.49。worst_window 过拟合：makeway 上 SRCC 升高，留出场景上下降。调参只用了 19 个视频、7 名受试者（MOS 95% 置信区间约 ±1），这些结果只能作为参考，参数还不能算定论。
CVVDP 逐帧 JOD
VMAF 逐帧
PSNR-Y 逐帧
显示数据表（makeway SRCC、留出 SRCC、bootstrap 置信区间）
留出视频合并 SRCC 的提升；95% 置信区间来自对 65 个视频的 2000 次配对 bootstrap。
2. 各规则的场景平均 SRCC
同一批规则分别作用在三种逐帧分数上：CVVDP 的逐帧 JOD、VMAF、PSNR-Y（参数相同）。每张图按加权排序，横轴范围相同。小场景（heros3、ratchet 各 5 个视频）会把等权平均抬高，建议以加权为准。
CVVDP 逐帧 JOD
点击一行，下面第 4 部分的散点图切换到该规则。
VMAF 逐帧分数
PSNR-Y 逐帧分数
3. 每个场景、每个规则的 SRCC
上图：横轴是规则（按加权排序），每个点是一个场景在该规则下的 SRCC。每个场景在每列里的左右位置固定，点击图例可以单独看一个场景。
* mean 同 last_frames_mean、cumulative_quality；median 同 kth_percentile（这批视频上分数完全一样）。
下图：同样的数值做成热力图，颜色越深相关越高。列名下面是该场景的视频数；视频越少，这一格越不可信。
4. 每个场景：规则分数 vs MOS
每个点是一个视频，竖线是 MOS 的 95% 置信区间，颜色区分同一场景里的不同 shot。横轴是规则给出的 JOD，各场景范围不同。