Wave 1 复盘与下一步策略 → 查看结果、渲染证据与待决事项

Blender Bench v0.4 · 执行任务书

被测模型:GPT-6 Astra(reasoning = max) · 编写日期 2026-11-02 · 依据 task_redesign_v0.4/README.md、intake_review_2026-11-02、asset_collection.md、assets_pool 元数据和 production_v1 v0.3 批次记录
原子任务 10 题(Wave 1)完整任务 2 条链(Wave 2)阈值均为初值,需用 B2 校准只测 1 个模型 → 结论靠同题对照
2026-11-04 更新:重拓扑专题。人工对比发现 TOP-01 的“自动通过”是评测器的假通过(GPT 的面部布线是方框和补丁)。后续计划把重拓扑拆成头部、身体关节、手部三项,先改评测再起实验。见 重拓扑专题页。
2026-11-02 更新:Wave 1 的脚本已经写好,并在 Blender 4.3.2 上实测过(MOD-01 除外)。下载:blender_bench_code_v04_wave1.tar.gz · README。实测中发现的问题和对本页的修订见 第 11 节,其中最重要的一条是:TOP-01 的手臂变体没有通过捷径审计。

0 · 一页结论

  1. 只测 GPT-6 Astra 时,没有跨模型对比,结论要靠五组“同题对照”:
    • 模型与 B0 / B1 / B2(/ B3)并列;
    • L1 与 L3 / L4 比较;
    • 改自己的产物(V1-F)与改别人的资产(MOD-04)比较;
    • 会判断(JUDGE / DIAG)与会做(生成题)比较;
    • 单独的原子任务与完整链比较。
    第 9 节给出每组对照怎么算。
  2. 先跑 Wave 1。共 10 题:8 道生成题,对应 v0.4 的 P0 加 MOD-01 对照;另外 2 道只读题是本页新增的,对应 ZJU 论文的“理解”和“评估”两类任务,成本低、评分客观。每题 1 个 dev 实例 + 2 个 test 实例。
  3. dev 实例可以先跑,评测器后补,因为产物全部落盘,可以事后评测。test 实例必须先过捷径审计(B0 / B1 在核心检查上失败),冻结后再跑。
  4. 时间预算加大:L3 / L4 的 V0 给 60 分钟,V1 给 20 分钟。v0.3 的 V0 上限是 15 分钟,已有 5 题接近上限,2 次 V1 在 7 分钟时超时。
  5. 素材都还在 Mac 上,没在 Blender 里验收过:本服务器(iridium)的 assets_pool 只有元数据,没有 .blend / .glb / STEP。下载记录 178 个完成、35 个未解决;除 m510、G502、Bose QC15、MX Vertical 这 4 件外,都没有在 Blender 里打开过。每题“开跑前准备”的第一条都是入场检查。
  6. 新素材基本不用再找:Wave 1 所需的 B2 都能从已下载的美术资产“倒推”出来:
    • Human Base Meshes:降质后作 TOP-01 输入,渲染后作 MOD-03 参考;
    • Blender Studio 角色:去掉 UV 作 UV-01 输入,去掉骨架作 RIG-01 输入;
    • 高低模成对道具:高模作 BAKE-01 输入,低模作 B2;
    • m510 控制笼:细分后作 MOD-02 隐藏参考,控制笼本身作 B2;
    • Bose / G502:作 MOD-04B 的改稿底稿。
    未解决的 35 件对 Wave 1 没有硬阻塞,见第 7 节。
注意:本页在公网可以访问,并且写明了每道题的隐藏参考是哪件资产。所以所有运行必须关闭联网。如果担心之后被检索到,可以在 public_html/blender_bench 加访问控制。

1 · 固定测试条件(所有题通用)

项设定理由 / 依据
模型gpt-6-astra,model_reasoning_effort="max",关闭 multi_agent与 v0.3 批次(runs/20261031_astra_max_001)和 ZJU 论文的设置一致
入口Codex CLI,沿用 production_v1/bench.py 的 worker;每次运行都是独立会话,不保留记忆现成、可复现,能记录事件流和 token
联网关闭隐藏参考多来自公开资产(Human Base Meshes、Blender Studio、BlendSwap、Ploopy),联网就能直接下载到答案
Blender4.3.2,同一台 Mac,后台运行;模型可以自己渲染预览入库核查用的就是 4.3.2;Human Base Meshes 需要 4.2+,Rain v3 需要 4.1+
工具通道主条件:bpy 脚本(headless)加自渲染预览。对照:TOP-01 dev 和 MOD-03 dev 各多跑一次“MCP + 视口截图”v0.4 §1.6 指出通道本身是变量。只测一个模型时,通道对照是唯一能区分“模型不会”和“通道不便”的手段
时间预算L1 / L2 的 V0:20 min;L3 / L4 的 V0:60 min;V1-F / V1-S:20 min;只读题:20 min;完整链:180 minv0.3 上限 900 s 时:PRE-02 用了 868 s,ANI-01 783 s,MOD-01 767 s,LGT-01 732 s,PKG-01 722 s;LGT-01 V1-S 与 PKG-01 V1-F 在 420 s 超时。论文中复杂题的平均用时为 50–121 min
重复次数dev:V0 跑 2 次,估计随机性。test:V0、V1-F、V1-S 各 1 次;预算允许时 V0 也跑 2 次样本小,至少要知道同一题两次结果差多少
隔离工作目录只放 input/。隐藏参考、评测器和其他题的素材放在 agent 账号读不到的位置:建议另开一个 macOS 用户,或把这些文件放到另一台机器。同时清洗元数据,去掉物体名、作者名、带提示的文件名v0.3 只有提示层面的隔离(production_v1 README 已说明)
允许的工具Blender 4.3 自带的全部工具,包括 QuadriFlow、Smart UV、Rigify、自动权重。只按最终结果评分,但从日志里记录是否调用过这些工具如果用了 B0 工具、结果也和 B0 相当,就记为“相当于 B0”,而不是“通过”
统一交付output/ 下的 .blend、report.json(写明实际执行过的检查和数值、发现的问题和局限)、预览图沿用 v0.3;模型自述只当线索,不计分
记录实际 prompt、CLI 参数、事件流、墙钟时间、token、工具调用、是否触到预算上限、是否调用了 B0 工具论文也报告了完成时间;耗时本身是结论的一部分

2 · 执行顺序与优先级

排序依据(按重要性):

  1. 对核心结论(“看起来能做”和“能进生产”之间的差距)的贡献;
  2. 素材和 B2 是否已经就绪;
  3. 评测器实现难度;
  4. 是否依赖其他题的产物(JUDGE 依赖前面题的基线和模型产物,所以排在后面)。

Phase 0 · 准备(在跑任何一道题之前)

  1. 入场检查(在 Mac 上用 Blender 4.3.2):Wave 1 素材逐件打开,统计面数、四边面比例、UV、骨架、形态键、修改器、贴图缺失,并回写 asset.json。目前各素材 asset.json 的 inspection_status 大多仍写着 not_downloaded,与下载状态文件不一致。
  2. 出题脚本:
    • 降质(TOP-01);
    • 剥离 UV / 骨架 / 形态键(UV-01、RIG-01);
    • 参考图和特征线渲染(MOD-02、MOD-03);
    • 缺陷注入(DIAG-01);
    • 元数据清洗。
  3. 核心评测器:双向距离、语义环检测、极点计数、身份保持哈希、轮廓 IoU。清单见第 8 节。
  4. 基线:每题跑 B0(一键工具)和 B1(解析脚本),并让 B2 过一遍检查器。B2 不通过时先调阈值或换素材;B0 或 B1 能通过时改题。

Wave 1 · 原子任务(按这个顺序跑 dev 实例)

#ID任务级别主测 / 辅测素材就绪开跑前工作量为什么排在这里
1MOD-01参数化 L 支架(对照组)L1SX UE已就绪0.5 天:修孔径探针、补 2 个实例差距结论的锚点;不跑它,L3 / L4 的低分就无从比较
2TOP-01雕刻高模 → 动画布线L3ES D需准备1.5 天:降质脚本、地标、环检测直接对应你观察到的“搭积木、布线差”。B2 现成,环检测和 MOD-03 共用
3MOD-02三视图 → SubD 鼠标外壳L3SE UD需准备1.5 天:缩放、四视图、特征线、斑马纹对应“代码难做曲面”;m510 已核查,控制笼 802 面可以直接作 B2
4MOD-04B在美术工程上改稿(硬表面)L4UEI D需准备1 天:改稿单、drawover、隐藏目标区分“会生成”和“会改”;身份保持检查是最容易实现的评测器
5UV-01头颈 UVL3ES U需准备1 天:去 UV、测试图、相机、区域组B2 是美术原 UV;评测器纯几何,比较客观
6BAKE-01高模 → 游戏低模 + 烘焙 + glTFL3ED SX需准备1 天:拆分高低模、光照比较脚本游戏资产主流程;美术低模作 B2,有 3 组以上
7RIG-01全身角色骨架 + 权重L3SE XD需准备2 天:去骨架、命名表、姿态探针价值高,但姿态探针最复杂,放在评测器成熟之后
8MOD-03参考图 → 可做表情的头部L3SE UD需准备1 天:参考图、地标;复用 TOP-01 检查器对应“人脸难”;依赖 TOP-01 的环检测,B3(Tripo)还要重做
9DIAG-01找出交接工程里的缺陷(只读)只读 新增D UX需准备1 天:缺陷注入脚本单独测 D,不受生成能力影响;评分是精确率和召回率
10JUDGE-01候选网格可用性排序与探针预测(只读)只读 新增UD依赖前序0.5 天:组装候选要用到 TOP-01、MOD-02 的 B0 / B1 / B2 和模型自己的产物;回答“它懂,但做不出”还是“它根本不懂”

之后的波次

波次任务说明
Wave 2E2E-C 角色链、E2E-P 产品链、MOD-04A 有机改稿、RIG-02 面部形态键;用新评测器复评已有的 13 个端到端 pilot完整任务复用 Wave 1 的评测器,并要求保存每个阶段的 checkpoint,用来做误差归因
Wave 3(P1)BLK-01、PKG-01、LOOK-01、LGT-01、ANI-01、LAY-01、PROC-01见第 6 节的表格
Wave 4(P2)PRE-01、PRE-03、RIG-03、FX-01、REN-01、POST-01;CUT-01 移出核心有余力再做

建议日程(3 周)

第 1 周

准备 + 4 道 dev

  • Phase 0:入场检查、出题脚本、核心评测器
  • dev 运行:MOD-01、TOP-01、MOD-02、MOD-04B
  • 做 TOP-01 dev 的通道对照
第 2 周

其余 dev + 捷径审计

  • dev 运行:UV-01、BAKE-01、RIG-01、MOD-03
  • 全部题跑 B0 / B1,并让 B2 过检查器
  • 冻结 test 实例;跑 DIAG-01
第 3 周

test 实例 + 只读题

  • 每题 2 个 test 实例 × V0 / V1-F / V1-S
  • 跑 JUDGE-01(放在生成题全部跑完之后)
  • 人工 0–4 分
第 4 周起

完整链 + 初版报告

  • E2E-C、E2E-P
  • MOD-04A、RIG-02
  • 五组对照的初版报告

运行量估计(只计 Wave 1 生成题):每题 dev 2 次 V0,加 2 个 test × 3 个分支,共 8 次运行,最长约 5.3 小时;8 道题合计最长约 43 小时墙钟。可以参照 v0.3:48 个阶段实际用了约 20 小时(2026-10-31 11:29 至 11-01 07:55 UTC)。worker 在后台串行执行,不需要人一直盯着。

3 · 图例:能力 / 级别 / 基线 / 分支

能力标签(来自 v0.3,X为主测,X为辅测)

U理解与对齐:把文字、参考图、工程输入转成可核验的目标、范围和不变量
S空间与约束推理:形体、连接、变形、接触、视觉关系能否同时成立
X规划与工具执行:正确调用 Blender、管理依赖、交付可复现
E结构与可编辑性:设计师能不能接手继续改。由评测者在副本上实际操作来判断
D检查与诊断:能否定位缺陷并给出证据,漏报和误报都计
I反馈与自我迭代:改善目标项,同时保持其他约束不回归

难度级别

L1参数转录:规格完全给定,是解析几何。只作对照组
L2参考理解:从参考图或约束推出比例和布局,几何表示不限
L3自由曲面与语义结构:没有解析解,需要曲面连续、语义布线或良好的变形
L4受约束地编辑既有资产:身份保持 + 下游数据保持 + 局部目标
只读不生成,只理解或诊断(对应 ZJU 论文的理解与评估任务)

基线(每题都与模型并列报告)

B0零智能 / 一键工具:QuadriFlow、Smart UV、Decimate、Rigify + 自动权重、默认 HDRI
B1解析脚本 / 基本体:不看参考细节,用基本体、布尔、参数曲线拼出近似形状
B2美术参考答案:本页的 B2 都来自已下载的美术原件
B33D 生成器:Tripo H3.1 的结果,用来回答“直接调用生成器能不能解决”

冻结条件:B2 通过核心检查,B0 和 B1 都失败。只有模型超出 B0 的部分,才算它自己的能力。

分支与实例

V0只读冻结的 input,首次完成任务
V1-F从 V0 副本出发,收到标准化的反馈。反馈内容要先确认 V0 还没满足
V1-S从另一份 V0 副本出发,只做自主检查和改进。允许在有证据的情况下保留 V0 不改
dev / testdev 实例用来调 prompt 和评测器,可以修改;2 个 test 实例冻结,设计阶段不看

每题的判定顺序:① 硬门槛 → ② 目标达成 → ③ 用途探针 → ④ 人工 0–4 分。前一层没过时,后面各层仍然记录,但标注“门槛未过”。

4 · Wave 1 任务详情

每题的结构:类别 → 测试能力 → 为什么测 → 设定(给定 / 要做 / 锁定 / 交付) → 实例与素材 → 怎么测 → 判定 → 预计常见失败 → 开跑前准备 → 英文 prompt 草稿。给 agent 的任务按项目惯例用英文;prompt 中花括号 {…} 是按实例填写的占位。

① MOD-01 · 参数化硬表面:L 支架

L1 对照保留(v0.3)已就绪

按工程图和尺寸表建一个 L 形支架,带贯通孔和倒角。它是代码建模最擅长的题型,作用是作为对照。

类别
建模 · 参数化硬表面(CAD 式)
用途 profile
cad_like
测试能力
SX UE
对应论文任务
Engineering drawings → CAD
预算
V0 20 min · V1 20 min

为什么测:如果同一个模型 MOD-01 拿高分,而 MOD-02 / MOD-03 拿低分,就量化了“CAD 式能力”和“自由曲面能力”之间的差距。ZJU 论文的结论正好是自由曲面上的持续错误。

给定
  • 支架示意图 + 权威尺寸 JSON(沿用 production_v1/cases/MOD-01/input)
  • 审查相机、摄影棚(锁定,写进题面)
要做
  • 按尺寸建 L 支架:两块板、两个贯通孔、指定倒角
  • 单位为米,实体连通
锁定
  • 相机、摄影棚、单位不变(v0.3 的教训:锁定项必须写进题面)
交付
  • output/scene.blend、report.json、preview.png

实例与素材

实例素材角色处理
devv0.3 支架 fixture输入 + 参考直接复用
test-1CAD-prusa3d-Original-Prusa-i3 中选一个支架件(GPL-3.0,SCAD 可以重算)参考从 SCAD 导出 STL 作为参考;自己绘制带尺寸的二视图
test-2CadQuery 自制法兰:螺栓圆周孔 + 沉孔 + 倒角参考用 .venv-cadquery 生成,没有许可问题

怎么测

  1. 硬门槛:文件能打开;锁定项保持;实体连通且水密。
  2. 自动:包围盒误差;孔径、孔位(修复 v0.3 的误报:外轮廓和孔洞的连通区域分开测,复测值应约为 15.9 / 19.9 mm);射线检查孔是否贯通;与参考的体积误差。
  3. 可编辑性探针(只描述,不按方式评分):评测者把底板厚度从 10 mm 改到 12 mm,孔必须仍然贯通。记录操作次数,以及做法是非破坏的修改器还是已应用的网格。
  4. 基线:本题预期 B1 能通过,这是 L1 的定义。B0 不适用。
  5. V1-F:“两孔中心距从 {a} mm 改为 {b} mm,其余不变。”

预计常见失败:孔的位置左右镜像;倒角加在了错误的边上。整体上预期通过率 ≥ 90%。

开跑前准备
  • 修孔径探针(外轮廓和孔洞分开测)
  • prompt 里补上锁定项和可编辑性探针的说明
  • 生成 test-1、test-2 的图纸和参考网格
Prompt 草稿(在 v0.3 prompt 末尾追加)
Locked: keep the review camera, the studio objects and the scene units exactly as given.
After delivery the evaluator will change the base plate thickness from 10 mm to 12 mm on a copy of your file; both holes must still pass through. Report how a designer should make that change in your file.

② TOP-01 · 重拓扑:雕刻高模 → 动画布线

L3P0 · 重做需准备

给一个已经认可的稠密三角网格(头部或手臂),整理出能做动画的生产布线。重点是语义边环(眼环、口环、肘部环),不是四边面比例。

类别
拓扑 · 重拓扑
用途 profile
animation_character(头)/ 变形用途(臂)
测试能力
ES D
对应论文任务
B-rep → 参数化特征模型(换成可编辑的表示)
预算
V0 60 min · V1 20 min

为什么测:v0.3 的 TOP-01 输入是参数化圆管,被“隔层取点”的办法解掉了(保形误差 3×10⁻⁵ mm)。这次换成没有规则结构的雕刻式网格,直接检验“代码堆网格、布线不能用”这个核心观察。

给定
  • Sculpt:约 20 万三角面,已按 P3 去参数化,没有可恢复的规则结构
  • 头部另给 Eye_L / Eye_R 眼球物体(固定)
  • 地标 empty:眼角 ×4、嘴角 ×2、鼻尖、下巴;手臂给肘窝轴线 A / B 和腕部
  • 面数预算:头 ≤ 3000,臂 ≤ 1500;用途说明
要做
  • 头:
    • 眼开口是边界孔,每只眼周围 ≥ 3 圈闭合同心环;口周 ≥ 3 圈;
    • 鼻唇沟方向有连续边流;
    • 极点放在眼、口的变形区之外;
    • 左右对称;颈部为开放边界。
  • 臂:
    • 肘窝中心 ±30 mm 内有 ≥ 5 条横跨肘部的环;
    • 环平面法线与骨轴夹角 ≤ 20°;
    • 关节处的布线密度高于前臂中段。
锁定
  • 不得修改 Sculpt、眼球、单位、变换
  • 不得把高模的副本或抽稀结果当作结果提交
  • 可以用 QuadriFlow 等工具,但按最终结果评分
交付
  • retopo.blend(物体名 Retopo)
  • 正面、侧面、3/4 视角线框图,标出关键环和极点
  • topology_report.json:每个极点的位置、valence、原因,以及各环的位置

实例与素材

实例素材角色处理状态
dev(头)A-human-base:Human Base Meshes v1.4.1,Stylized 类中的一个头(CC0)降质后作输入;原件作 B2见下方降质配方需确认包内实际有几个头
test-1(头)A-human-base,Realistic 类中的一个头同上同上同上
test-2(臂)A-human-base,Realistic 全身,从肩切到腕同上切段后降质11-02 实测:QuadriFlow 也能通过 → 改用第三个头部(ST / Q-UBC),见第 11 节
附加(AI 输入,没有 B2)F1-tripo-T01-r1(风格化头)、F1-tripo-T02-r1(写实头):180–200 万三角面,眼睛和眼睑融在一起输入;只跑自动检查,与 B0 比较按 real_size 缩放到 0.23 m,写入 canonical_transform已下载
Tripo 生成的风格化男性头部白模
T01-r1:AI 生成的头部(白模)。“AI 网格 → 生产布线”是真实的工业需求,作附加实例
prompt 中要求四边面布线的 Tripo 头部白模
T01-Q:prompt 里写了 “clean quad topology”,实际仍是约 190 万三角面。说明在 prompt 里写布线要求,换不来好的布线
降质配方(重要):头部不要用体素重网格化,它会把眼、口开口和颈部边界封死,“眼开口是边界孔”这条要求就没法检测了。建议的步骤:
  1. Subdivision 2–3 级后应用;
  2. 三角化;
  3. Decimate(collapse)到约 20 万三角面;
  4. 沿法线加抖动,幅度 ≤ 0.05% 包围盒对角线;
  5. mesh.sort_elements(type='RANDOMIZE') 打乱顶点和面的顺序;
  6. 检查:z 值聚类数量应接近顶点数,即不存在可恢复的规则结构。
原件从文件里彻底删掉(不能只是隐藏),清空 UV、顶点组和自定义属性,物体统一改成中性名称。手臂可以额外做一个体素版本,作为“融合网格”的变体。

怎么测

  1. 硬门槛:Sculpt 的哈希不变;Retopo 是单个物体;面数 ≤ 预算;没有非流形和退化面。
  2. 目标达成(自动):
    • 双向保形距离:Retopo 加 1 级 SubD 后与 Sculpt 比较,P95 ≤ 0.5% 包围盒对角线(初值)。控制笼单独报告。
    • 语义环检测(第 8 节 #2):眼、口各取第 1–3 圈,判断每圈是否为单一闭合环、全是四边面、圈上没有极点。
    • 变形区内 valence ≠ 4 的内部顶点数 ≤ 2。变形 mask 由地标生成:眼周半径 = 0.09 × 头高,口周半径 = 0.11 × 头高(初值)。
    • 手臂:从地标附近的预定边执行 loop_multi_select,判断选中的环是否闭合、绕骨轴的卷绕数是否为 1、夹角是否 ≤ 20°。
  3. 用途探针(评测者执行):
    • 选环:从单条边一次选出整环。
    • 手臂:用固定双骨骨架 + 固定权重场,弯曲 0° / 90° / 135°。测肘窝内侧最小厚度比、自交数、局部体积比。
    • 头部:做 MOD-03 的 E1–E3 探针(闭眼、张嘴、微笑)。
    • 细分:加到 2 级后,看极点附近是否出现捏痕。
  4. 人工:布线 0–4 分,锚点参考 usability_v0.2 §3.3。
  5. 基线:
    • B0a:QuadriFlow,同样的面数,开启对称;
    • B0b:体素重网格化 + Decimate;
    • B2:原件。
    预期 B0 能过保形检查,但在语义环和极点位置上失败。如果日志显示模型只是调用了 QuadriFlow,得分就记为 B0。
  6. V1-F(先确认 V0 没满足,再二选一):
    • 头:“每只眼周围增加到 ≥ 4 圈;把位于嘴角的极点移到口部变形区外;其余不变。”
    • 臂:“肘部 ±30 mm 内的环从 5 条增加到 7 条;前臂中段的密度降低 20%。”
  7. V1-S:公开的检查工具只包括硬门槛和距离;语义环检查器和探针不公开。

判定:

  • 达标:门槛、距离、语义环、极点全部通过,且探针没有严重失败;
  • 相当于 B0:语义环和极点的结果与 B0 处于同一档;
  • 门槛未过:硬门槛有任一项失败。

预计常见失败(假设,待 pilot 验证):直接调用 QuadriFlow 后宣称完成;环有了,但方向沿着重网格化的方向场,没有围绕眼睛;极点堆在嘴角和肘窝;AI 输入的眼睛是融合的,被直接封口。

开跑前准备
  • 在 Mac 上打开 Human Base Meshes,列出所有头和身体;确认原件本身有眼、口开孔,并且眼环 ≥ 3 圈(B2 资格)
  • 降质脚本;检查规则结构不可恢复
  • 放置地标 empty;生成变形 mask
  • 在 B2 上验证语义环检测器全部通过;跑 B0a、B0b
  • 做固定的弯曲探针骨架和权重场(所有提交共用)
  • dev 实例额外跑一次“MCP + 视口截图”通道
Prompt 草稿(头部)
input/sculpt.blend contains `Sculpt`, a dense triangulated head-and-neck mesh (about 200k triangles; units are meters; head height 0.23 m), two eyeball objects `Eye_L` and `Eye_R`, and landmark empties named `LM_*`. The shape is approved. Create a production retopology for an animated character:
- One new mesh object named `Retopo`, at most 3000 faces, quad-dominant, left-right symmetric (a Mirror modifier is allowed).
- Each eye opening is a boundary hole fitting its eyeball, surrounded by at least 3 concentric closed edge loops made of quads. The mouth is surrounded by at least 3 concentric closed loops (the mouth may be closed or have a mouth bag).
- A continuous edge flow runs from the nose wing to outside the mouth corner (nasolabial fold).
- Poles (vertices whose valence is not 4) stay outside the eye and mouth deformation areas.
- The neck is an open boundary.
- `Retopo` stays on the approved surface: with one level of Subdivision Surface its distance to `Sculpt` must be at most 0.5% of the bounding-box diagonal (95th percentile).
Locked: do not modify `Sculpt`, the eyeballs, the units or any transforms. Do not submit a copy or a decimation of `Sculpt` as `Retopo`.
Deliver: output/retopo.blend; output/wire_front.png, output/wire_side.png and output/wire_34.png with the key loops and the poles highlighted; output/topology_report.json listing every pole (position, valence, reason) and the loops around the eyes and the mouth; output/report.json with the checks you actually ran.
After delivery the evaluator will select loops starting from single edges near the landmarks, close the eyelids, open the jaw with a fixed bone and weight field, move the mouth corners into a smile, and add subdivision.
Work only in this directory; input/ is read-only; do not use the internet.

手臂变体把要求替换为:“At least 5 edge loops cross the elbow within ±30 mm of the crease landmark; each loop's plane normal is within 20° of the bone axis given by `LM_elbow_axis_A`→`LM_elbow_axis_B`; edge density at the elbow is higher than at mid-forearm; ≤ 1500 faces; shoulder and wrist ends stay open. The evaluator will bend the arm 0°, 90° and 135° with a fixed two-bone armature and weight field.”

③ MOD-02 · 自由曲面硬表面:SubD 鼠标外壳

L3P0 · 新增需准备

按四视图和特征线,做一个轻量的 SubD 控制笼,要求曲面连续、分缝锐利、曲面开孔不捏痕。这类题没有解析捷径。

类别
建模 · 自由曲面硬表面
用途 profile
subd_hero
测试能力
SE UD
对应论文任务
Rendered images → CAD(自由曲面)
预算
V0 60 min · V1 20 min

为什么测:直接对应“代码难做曲面”。消费电子外壳的核心要求是曲面连续(反射线平顺)、特征线锐利、曲面开孔不捏痕、控制笼轻量可改。论文报告的持续错误也集中在自由曲面上。

给定
  • 顶、侧、前、后四张正交参考图(2048 px),特征线用红色线稿标出
  • dims.json:外形尺寸,分缝槽宽 0.8 mm,滚轮开孔尺寸(按实例从资产实测)
  • 场景:斑马纹 MatCap 材质 + 6 个固定审查相机 + 摄影棚(锁定)
要做
  • 控制笼 + 实时 Subdivision 修改器(或能达到同等效果的其他表示)
  • 二级细分后曲面平顺;分缝和开孔边缘锐利(用支撑环或 crease 都可以);开孔周边不捏痕
  • 底面是平面;侧面有拇指凹槽(如果参考图中有)
锁定
  • 控制笼 ≤ 1200 面(m510 的 B2 是 802 面,说明这个预算美术做得到)
  • Subdivision 修改器不得应用
  • 不得用位移贴图或法线贴图冒充形状;不得导入外部网格
交付
  • mouse.blend(物体名 Shell)
  • 控制笼线框图(顶、侧)
  • 从 6 个相机渲染的斑马纹图
  • report.json

实例与素材

实例素材角色处理状态
devBS-7353 Logitech m510(CC-BY):机身控制笼 802 面,98% 四边,实时 Subdivision,没有 UV控制笼 = B2;3 级细分后的曲面 = 隐藏参考按长 120 mm 缩放(约 17.6 mm / 单位,需和实物规格核对);渲染四视图;特征线从控制笼的 crease 和分缝生成已核查
test-1CAD-ploopyco-mouse 上壳(CERN-OHL-S,STEP)隐藏参考(没有 B2)STEP 要按实体单独导出:cq.Assembly.importStep,弦高误差 ≤ 0.05 mm,只取上壳需要修转换脚本
test-2CAD-badjeff-moudabella 上壳(CERN-OHL-P,STEP,九键、无可见螺丝)隐藏参考(没有 B2)同上;183 个实体中只取外壳需要修转换脚本
备用SK-mxvertical:细分已被应用,有波纹只作形状参考不能作 B2;曲率比较会被波纹污染—
B3Tripo:I10(m510 渲染图 → 3D,待生成);I08(Ploopy,需重做);T10 系列(文生)B3 基线T10 和隐藏参考不是同一个物体,只能跑编辑探针,不能算形状误差I10 / I08 待做
Tripo 文生无线鼠标白模
T10-r1:文生鼠标,单个融合网格,约 190 万三角面。只用来跑 MOD-02 的编辑探针

G502(BS-16092)为什么不放在这里:v0.4 原本把它作为 MOD-02 的高难变体,但它是 MOD-04B 改稿题的输入。同一件素材不能在一道题里作隐藏参考、在另一道题里作输入(见第 7 节),所以这里换成 Moudabella。

怎么测

  1. 硬门槛:Subdivision 仍是实时状态;控制笼 ≤ 1200 面;没有位移或法线贴图;外壳是单个物体;没有非流形和自交。
  2. 目标达成(自动):
    • 双向距离:2 级细分后的曲面与隐藏参考比较,P95 ≤ 0.4 mm、最大 ≤ 1.2 mm(初值)。m510 的 B2 在这一项上天然满分,距离阈值要用 Ploopy / Moudabella 校准。
    • 底面平面度。
    • 顶面主视区 mask 内 valence ≠ 4 的控制点 ≤ 4。
    • 3 级细分后的曲率异常簇:平均曲率与参考偏差大,或符号翻转(波纹)。
  3. 用途探针:
    • E1:后部隆起 +4 mm,只允许选 ≤ 2 条边环,用衰减编辑完成。检查目标是否达成、斑马纹是否出现新的断裂。
    • E2:滚轮开孔前移 5 mm。记录是否需要重新布线,以及准备时间和操作次数。
    • E3:提高到 3 级细分渲染,看是否出现新的伪影。
  4. 人工:在 4 个预设区(滚轮孔四周、拇指凹槽过渡、后部隆起、分缝端点)给斑马纹连续性打 0–4 分;“美术能否接手继续改”打 0–4 分。
  5. 基线:
    • B1:椭球 + 布尔 + Bevel。预期斑马纹在交接处断裂,开孔处出现 N-gon 和捏痕。
    • B0′:拿到隐藏参考后跑 QuadriFlow 到 1200 面再加 SubD。这是“即使有参考,自动工具能做到哪一步”的上限对照,预期分缝不锐利。
    • B3:Tripo。
  6. V1-F:“后部隆起再抬高 3 mm;前端两侧各收窄 4 mm;分缝和滚轮开孔保持不变。”

预计常见失败:布尔开孔在细分后塌陷或起皱;为了锐利加了大量支撑环,控制笼过密、没法编辑;用 Shrinkwrap 或平滑修改器掩盖问题;只在默认相机下好看。

开跑前准备
  • 核对 m510 的实物尺寸后缩放;记录 canonical_transform
  • 渲染四视图:正交,物体占画面 80–90%,平滑着色,中灰材质配浅色背景;输出特征线稿
  • 做斑马纹 MatCap 和 6 个审查相机;先检查相机不裁切主体(v0.3 的 LGT-01 / PKG-01 有裁切问题)
  • 修 STEP 转换:按实体导出,弦高误差 ≤ 0.05 mm,单位写明;输出到素材目录的 derived/
  • 跑 B1、B0′;让 B2 过检查器
Prompt 草稿
input/refs/ contains orthographic reference images of a computer mouse (top.png, side.png, front.png, back.png; 2048 px) with the design feature lines drawn in red, and input/dims.json with the overall size in millimeters and the size of the scroll-wheel opening. input/scene.blend contains a zebra-stripe review material, six review cameras `Cam_1`…`Cam_6` and a studio; do not change them.
Model the upper shell of the mouse as a SubD control cage with a live Subdivision Surface modifier, as an object named `Shell`:
- The overall shape and proportions match the references; the bottom face is flat.
- Two split grooves, 0.8 mm wide, separate the left and right buttons from the body.
- A rounded-rectangle opening for the scroll wheel is cut into the curved top surface.
- A concave thumb rest on the left side, if the references show one.
- After two levels of subdivision the surface is smooth: the zebra stripes are continuous except at the designed feature lines; the edges of the grooves and the opening are crisp (support loops or creases); there is no pinching around the opening.
Locked: the control cage has at most 1200 faces; the Subdivision Surface modifier stays live (do not apply it); no displacement or normal maps; do not import external meshes.
Deliver: output/mouse.blend; output/cage_wire_top.png and output/cage_wire_side.png; output/zebra_cam1.png … output/zebra_cam6.png rendered from the given cameras; output/report.json with the checks you actually ran.
After delivery the evaluator will compare the subdivided surface with a hidden reference, count poles in the top visible area, raise the rear hump by 4 mm by moving at most two edge loops with proportional editing, move the wheel opening 5 mm forward, and render at subdivision level 3.
Work only in this directory; input/ is read-only; do not use the internet.

④ MOD-04B · 既有资产改稿:硬表面

L4P0 · 新增需准备

在美术做好、带非破坏修改器栈和骨骼的工程上,按 drawover 做 3 处局部修改。非编辑部分必须完全保持不变。整体重建会直接在硬门槛上失败,这是有意的设计。

类别
建模 · 既有资产改稿
用途 profile
subd_hero + 非破坏工程
测试能力
UEI D
对应论文任务
Editing(改尺寸后的可编辑性测试)
预算
V0 60 min · V1 20 min

为什么测:工业里大部分工作是修改。v0.3 的 V1-F 是在模型自己的 V0 上改,可以整个重跑自己的脚本;这道题改的是别人的资产。它和 V1-F 的成绩差距,是“改自己”与“改别人”这组对照的核心数据。

给定
  • 美术的 .blend 原件,修改器栈保持实时状态
  • changes.md:3 处修改的文字说明
  • 3 张 drawover:在固定相机的渲染图上用红线标出修改
  • 锁定清单
要做
  • 直接在原文件上实现 3 处修改
  • 其中 1 处是单侧修改,作为 Mirror 陷阱:Mirror 修改器会把改动复制到另一侧,模型要自己发现并处理,还要说明理由
锁定
  • 不得重建或重新导入物体
  • 未触及物体的顶点数、顺序、位置、UV、修改器、约束、驱动器、材质都不变
  • 修改器栈保持实时状态;如果不得不应用某个修改器,要在 changes.json 里说明原因
  • 布尔切割体仍然是可编辑的物体;骨骼控制仍然能带动对应部件
交付
  • revised.blend
  • changes.json:每处修改涉及的物体、方法,以及修改器 / UV / 骨骼是怎么处理的
  • 在 drawover 相机下的改前改后对比图
  • report.json

实例与素材

实例素材改稿单(模板,打开文件后定稿)状态
devBS-7917 Bose QC15(CC0):14 个物体;修改器有 Subdivision、Mirror、Armature、Multires、Array、Curve;缺 1 张贴图;场景里有地面和隐藏的骨骼辅助网格
  1. 单侧:只在左耳罩外壳上加一个 Ø20 mm、深 1.0 mm 的凹陷 logo 区(Mirror 陷阱);
  2. 头梁整体加宽 6 mm:如果头梁由 Curve 驱动,应该改曲线或参数,而不是应用修改器;
  3. 某个 Array 的元素数 +2;如果文件里没有合适的 Array,就改为“滑杆行程 +5 mm,骨骼驱动的伸缩件仍然跟随”。
已核查
test-1BS-16092 Logitech G502(CC0):10 个部件,全部带实时 Subdivision,约 99% 四边,控制笼合计 8.5k 面
  1. 左侧两个侧键向前加长 3 mm;
  2. 仅左侧拇指托外沿外扩 2 mm;
  3. 底壳增加 2 个脚垫凹位,每个深 0.6 mm。
已核查
test-2自建的设备外壳:Bevel、Weighted Normal、Boolean 切割体集合、Array 散热孔(按 v0.4 §4.5 变体 B,用脚本搭建)
  1. 散热孔从 6 个改为 8 个;
  2. 外壳加宽 10 mm;
  3. logo 区改为凹陷。
门槛:修改器栈仍为实时状态,切割体仍然可以编辑,加权法线仍然正确。
需搭建(BS-24998 GameBoy、BS-29349 消防栓这两件非破坏素材未下载成功)

怎么测

  1. 身份硬门槛(自动):对未触及的物体逐个算签名,包括顶点数、顺序、坐标(P95 偏移 ≤ 0.1 mm)、UV 哈希、修改器类型和顺序、约束、驱动器、材质。被编辑的物体要求修改器栈仍为实时状态。
  2. 目标达成(自动):与隐藏目标比较。隐藏目标由评测者在副本上按同样的改稿单做出,作为 B2。逐项测:宽度变化(沿轴向的包围盒,±0.5 mm)、凹陷深度(射线探测)、阵列数量;单侧性:另一侧对应区域的位移 ≤ 0.1 mm。
  3. 回归:骨骼滑杆摆一个姿势后,部件仍然跟随;编辑 mask 之外的渲染差异 ≈ 0。
  4. 人工:对照 drawover 打 0–4 分。
  5. 基线:B1 用脚本整体重建,预期直接在身份门槛上失败,这是本题的设计目的。
  6. V1-F:“凹陷再加深 0.5 mm;另外在右耳罩上加同样的凹陷,但直径 15 mm。”第二句检验它能不能把之前的单侧处理再改成两侧不同。

预计常见失败:为了方便直接应用整个修改器栈;Mirror 让单侧改动出现在两侧;重建物体导致骨骼绑定失效;在带 Armature 的网格上新增顶点却没有权重。

开跑前准备
  • 打开 Bose 和 G502,逐个列出物体、修改器栈、骨骼、驱动器,然后定稿改稿单
  • 在副本上按改稿单做出隐藏目标(B2);从固定相机渲染改前图,画 drawover
  • Bose 缺的那张贴图:要么补上,要么写进锁定说明(“已知缺失,不要求修复”)
  • 实现身份签名脚本(第 8 节 #5);先在“原件 vs 原件”上确认 0 差异,再在 B2 上确认只有编辑区有差异
  • 用脚本搭 test-2 外壳
Prompt 草稿
input/headphones.blend is an artist's production file. Apply the changes described in input/changes.md and drawn in red on input/drawover_1.png … input/drawover_3.png directly to this file, and save the result as output/revised.blend.
Constraints:
- Do not rebuild, duplicate-and-replace or re-import objects. Objects you do not need to touch must stay identical: vertex count, vertex order and positions, UVs, modifiers, constraints, drivers and materials.
- Keep every modifier stack live. Do not apply a modifier unless a change truly requires it; if you apply one, explain why in changes.json.
- Boolean cutter objects must remain editable objects. Rig controls must still move the parts exactly as before.
- A change requested for one side must appear only on that side.
Deliver: output/revised.blend; output/changes.json (for each change: objects touched, method, and how modifiers, UVs and the rig were handled); output/before_after_1.png … output/before_after_3.png rendered from the drawover cameras `Cam_D1`…`Cam_D3`; output/report.json with the checks you actually ran.
Work only in this directory; input/ is read-only; do not use the internet.

⑤ UV-01 · 头颈 UV

L3P0 · 重做需准备

给一个已有生产布线、但没有 UV 的头颈网格,展出可以绘制贴图的 UV:缝藏在不显眼的地方,脸部是一个连续的岛,纹素密度分级。

类别
UV
用途 profile
animation_character(可绘制)
测试能力
ES U
对应论文任务
无(Blender 特有)
预算
V0 60 min · V1 20 min

为什么测:v0.3 用的是六面纸盒,几乎任何自动展开都能过(密度比 1.00000013)。头部要判断“哪里能藏缝、哪里必须连续”,需要真正的空间判断。B2 就是美术的原 UV。

给定
  • 头颈网格,UV 已删除
  • 6 个固定展示相机
  • 2048 px 非对称测试图(字母 + 箭头 + 编号格)
  • 区域顶点组 Region_Face、Region_Neck,用来明确密度要求作用在哪里
要做
  • 缝放在低可见区:耳后、下颌下方、头顶后部、颈部边界
  • 脸部正面是一个连续岛,不允许在脸正面切缝
  • 纹素密度:脸部是颈部的 1.5 ± 0.15 倍
  • 打包利用率 ≥ 0.6;岛间距 ≥ 16 px(按 2048 计);没有重叠
锁定
  • 不改几何(顶点数、顺序、位置的哈希)、相机和场景
交付
  • uv.blend(UV 层名 UV_Main)
  • uv_layout.png
  • 每个相机贴测试图的渲染
  • report.json:实测密度比、利用率、间距

实例与素材

实例素材角色处理
devQ-universalbasecharacters:6 个基础角色中取第 2 个的头颈(CC0,布线对动画友好)去掉 UV 作输入;原 UV 作 B2在颈部切开,删 UV,清洗名称
test-1ST-rain Rain v3(Blender Studio,CC-BY)的头颈同上同上。打开文件时关闭“自动运行 Python 脚本”,去掉 rig 的 UI 脚本
test-2ST-victoria 的头颈同上同上

这里不用 Human Base Meshes 的头,因为它们分配给了 TOP-01 和 MOD-03 作隐藏参考(见第 7 节)。如果 B2 原 UV 自己就过不了“缝可见度”检查(比如美术在脸前切了缝),先校准阈值,或者换实例。

怎么测

  1. 硬门槛:几何哈希不变;UV_Main 存在;没有非预期的重叠。
  2. 目标达成(自动):
    • 缝可见度:6 个相机下可见的缝长 ÷ 缝总长 ≤ 10%(初值);
    • 角度失真(共形能量)P95、面积失真 P95,先去除全局等比缩放;
    • 各区域的密度比;打包利用率;岛间距;
    • 脸部顶点组是否落在单一的岛上。
  3. 用途探针:评测者在 UV 空间左颊对应的位置贴一个非对称 logo。渲染中它应该只出现在左颊,长宽比误差 ≤ 5%。
  4. 人工:棋盘格下的接缝和拉伸,打 0–4 分。
  5. 基线:
    • B0:Smart UV Project(默认 66°),预期脸部碎成多个岛、正面出现缝;
    • B0′:只按网格边界直接 Unwrap,预期严重失真;
    • B2:美术原 UV。
  6. V1-F:“把后脑的纵缝下移 3 cm,藏进发际线;脸部密度提高到颈部的 1.8 倍。”

预计常见失败:直接用 Smart UV,结果碎片化;缝穿过脸部中央;全身密度一样,没有分级;耳朵展开后严重失真。

开跑前准备
  • 切出头颈、删 UV、建区域顶点组
  • 生成非对称测试图(E6);摆放 6 个相机,并检查不裁切
  • 实现 UV 指标;在 B2 上校准
  • 跑 B0、B0′
Prompt 草稿
input/head.blend contains `Head`, a production head-and-neck mesh without UVs, vertex groups `Region_Face` and `Region_Neck`, and six display cameras `Cam_1`…`Cam_6`. input/test_grid.png is a 2048 px asymmetric test texture.
Create one UV map named `UV_Main` that a texture artist can paint on:
- Put seams only in low-visibility areas: behind the ears, under the jaw, at the back of the head and along the neck boundary. No seam may cross the front of the face; the face (`Region_Face`) is one continuous island.
- Texel density on the face is 1.5 times (±0.15) the density on the neck; other areas lie in between.
- Keep angle and area distortion low. Pack the islands into the 0–1 space with at least 0.6 utilisation and at least 16 px margin at 2048 px. No overlapping islands.
Locked: do not change the geometry (vertex count, order and positions), the cameras or the scene.
Deliver: output/uv.blend; output/uv_layout.png; output/checker_cam1.png … output/checker_cam6.png rendered with test_grid.png from each camera; output/report.json with the measured density ratio, utilisation and margin and the checks you actually ran.
After delivery the evaluator will measure how much seam length is visible from the six cameras, measure distortion, and paint an asymmetric logo on the left cheek in UV space and render it.
Work only in this directory; input/ is read-only; do not use the internet.

⑥ BAKE-01 · 高模 → 游戏低模 + 法线 / AO 烘焙 + glTF

L3P0 · 新增需准备

从带倒角、螺栓、面板槽的高模出发,做三角面预算内的低模,展 UV,用 cage 烘焙法线和 AO,导出能通过校验的 glTF。

类别
游戏资产 · 低模与烘焙
用途 profile
game_lowpoly
测试能力
ED SX
对应论文任务
无(Blender / 游戏特有)
预算
V0 60 min · V1 20 min

为什么测:这是游戏资产的主流程,也是“布线对生产友好”在 game_lowpoly 用途下的具体体现:三角面应该花在轮廓上,硬边要落在 UV 缝上。已下载的道具都同时带美术的高模和低模,B2 现成。

给定
  • 高模 High(单位米)
  • 三角面预算 = B2 低模三角面数 × 1.1
  • 2048 贴图;纹素密度 = B2 实测值 ± 10%
  • 法线采用 OpenGL(Y+)约定;8 方向审查灯光
要做
  • 低模 Low,保住轮廓
  • 展 UV;标为 sharp 的硬边必须落在 UV 缝上;padding ≥ 8 px
  • 用 cage 烘焙法线和 AO
  • 导出 prop.glb
锁定
  • 不改高模
  • 低模不得用法线贴图以外的手段补形状,例如藏在内部的几何
交付
  • prop_low.blend、normal.png、ao.png、prop.glb
  • bake_report.json:三角面数、纹素密度、cage 设置、发现的问题

实例与素材

实例素材B2 低模预算状态
devBAKE-tool-pack-1 中的活动扳手(CC0)1240 tris + PBR≤ 1364已下载,未入场检查
test-1BAKE-mk2-grenade(CC0,另附 PSX 版)PBR 低模(入场时计数)× 1.1同上
test-2BAKE-derringer-pistol(CC0;有可动部件,本题按静态处理)1904 tris≤ 2094同上
高难备用BAKE-unit-666-mech(CC-BY-4.0,两套 .blend / FBX 高低模)有× 1.1—
AI 输入(没有 B2)F1-tripo-T14-r1 科幻燃料罐:约 190 万三角面,带 4K PBR无2000已下载
Tripo 生成的科幻燃料罐白模
T14-r1:作“AI 高模 → 游戏资产”变体,只跑自动检查

怎么测

  1. 硬门槛:高模哈希不变;三角面数 ≤ 预算;glb 存在,并且 Khronos glTF-Validator 报 0 个错误。
  2. 目标达成(自动):
    • 12 个视角下低模与高模的轮廓 IoU ≥ 0.97;
    • 硬边 ⊂ UV 缝;岛间距;纹素密度;
    • 烘焙明暗误差:低模 + 法线贴图与高模在 8 个光方向下渲染,比较物体 mask 内明暗差的 P95,并统计接缝可见处数;
    • glb 重新导入后与 .blend 一致。
  3. 人工:螺栓和面板槽处有没有偏斜或波纹,0–4 分。
  4. 基线:
    • B0:Decimate 到预算 + Smart UV + 不用 cage 直接烘焙。预期三角面浪费在平面上、轮廓缺损、法线接缝明显。
    • B2:美术低模 + 美术贴图。
  5. V1-F(LOD 请求):“三角面预算降到原来的 70%,轮廓 IoU 仍需 ≥ 0.95。”

预计常见失败:低模就是 Decimate 的结果;不用 cage 导致波纹;硬边不在缝上,出现明暗断层;法线的绿通道约定反了;导出时坐标轴或缩放错误。

开跑前准备
  • 入场检查:确认每个包里高模、低模、贴图齐全;统计 B2 的三角面数和纹素密度
  • 输入里只保留高模(低模和贴图移到评测端)
  • 安装 glTF-Validator(npm 包 gltf-validator)
  • 实现 8 光方向的明暗比较;在 B2 上校准
  • 跑 B0
Prompt 草稿
input/high.blend contains `High`, a high-poly game prop (units are meters). Make a game-ready low-poly version:
- A new object `Low` with at most {budget} triangles whose silhouette matches `High` as closely as possible from every direction.
- One UV map for a 2048 × 2048 texture, texel density {density} px/m (±10%), at least 8 px padding. Every edge you mark as sharp (hard) must lie on a UV seam.
- Bake a tangent-space normal map (OpenGL convention, green = +Y) and an ambient-occlusion map from `High` to `Low` using a cage, both 2048 px, to output/normal.png and output/ao.png.
- Export output/prop.glb with `Low` and the baked maps assigned; it must pass the Khronos glTF validator without errors.
Locked: do not modify `High`. `Low` may not hide extra geometry or use displacement to fake shape.
Deliver: output/prop_low.blend, output/normal.png, output/ao.png, output/prop.glb, and output/bake_report.json (triangle count, texel density, cage settings, problems you found).
After delivery the evaluator will render `Low` with your maps and `High` under eight light directions and compare the shading, and compare silhouettes from twelve views.
Work only in this directory; input/ is read-only; do not use the internet.

⑦ RIG-01 · 角色蒙皮:放关节、刷权重、过 8 个标准姿态

L3P0 · 重做需准备

给一个没有骨架的全身角色,建骨架、放关节、刷权重、做 IK/FK 控制。评测者直接驱动变形骨,检查 8 个标准姿态下的变形质量。

类别
绑定 · 骨架与蒙皮
用途 profile
animation_character
测试能力
SE XD
对应论文任务
无(Blender 特有;类似装配关系)
预算
V0 60 min · V1 20 min

为什么测:v0.3 的 RIG-01 是刚性台灯,两骨 IK 是解析问题(三个目标的误差都 < 0.001 mm),不涉及蒙皮和变形。真正的难点在腋下、肘窝、腕扭这些地方。

给定
  • A-pose 或 T-pose 的全身角色网格(含衣服),没有骨架
  • bone_roles.json:22 个角色位,包括 pelvis、spine_01、spine_02、chest、neck、head,以及左右各 8 个(clavicle、upper_arm、forearm、hand、thigh、shin、foot、toe)
  • poses.json:8 个标准姿态
要做
  • 建骨架(可以用 Rigify),按解剖位置放关节
  • 所有角色网格都要蒙皮。权重卫生:每个顶点的权重和为 1,影响骨 ≤ 4,没有杂散权重
  • 手脚有 IK/FK 控制,重新打开文件后仍然可用
  • 交付 bone_map.json:每个角色位对应自己的哪根(或哪串)变形骨
锁定
  • 不改网格几何(顶点数、顺序、位置)
  • 不改静止姿态和单位
交付
  • rig.blend、bone_map.json
  • poses.png:8 个姿态的拼图
  • report.json

实例与素材

实例素材角色处理
devQ-universalbasecharacters,6 个角色中的第 1 个(CC0)输入;如果原件带骨架,就把它作为 B2去掉骨架、权重和 Armature 修改器
test-1ST-snow Snow v4(CC-BY;有面部 correctives、IK/FK)身体 + 衣服作输入;原骨架的关节位置和权重作 B2去掉 rig、驱动器、形态键 correctives 和 UI 脚本;把原 rig 的关节手工映射到 22 个角色位
test-2ST-phil Phil v1(大体型,腋下和躯干难度大)同上同上
AI 输入(没有 B2)F1-tripo-T05-r1 风格化全身。prompt 要求 A-pose,实际生成的是 T-pose;约 180 万三角面,单个融合网格输入;只跑自动检查和 B0 对照缩放到 1.65 m;记录 pose: T
Tripo 生成的风格化女性全身白模
T05-r1:AI 生成的全身角色,用来测“给 AI 资产做绑定”这一真实场景

怎么测

  1. 硬门槛:几何哈希不变;22 个角色位都在 bone_map.json 里有映射;所有网格都受骨架控制;重新打开后 IK 目标仍能带动手和脚。
  2. 关节位置:与 B2 关节的误差 ≤ 2% 身高(test-1、test-2)。
  3. 8 个姿态(评测者驱动变形骨):
    1. 上臂外展 90°
    2. 上臂上举 150°
    3. 肘屈 140°
    4. 腕扭 90°
    5. 髋屈 90°
    6. 膝屈 120°
    7. 躯干扭 45°
    8. 头转 60° 加低头 30°
    逐个姿态测:肘窝内侧厚度比(≥ 0.35)、腋下最大面积拉伸比(≤ 2.0)、腕扭最小截面半径比(≥ 0.7,用来抓“糖纸扭曲”)、自交数、局部体积比(0.85–1.15)。以上阈值都是初值。
  4. 权重卫生:权重和 = 1;影响骨 ≤ 4;杂散权重,即距离骨骼很远的顶点仍有 > 0.01 的权重(例如头部顶点受手骨影响)。
  5. 人工:8 个姿态的变形质量,0–4 分。
  6. 基线:
    • B0:Rigify 人体 metarig 按包围盒缩放对齐 + 自动权重(bone heat)。预期能过部分姿态,在腋下和腕扭上失败。模型与 B0 的差距,就是它的权重绘制和修正能力。
    • B2:Blender Studio 原 rig。
  7. V1-F(用 V0 的实测值生成):“上臂上举 150° 时,腋下面积拉伸比现在是 {x},请降到 ≤ 1.6;其余姿态不得变差。”

预计常见失败:关节放在网格质心而不是解剖位置;自动权重报 “Bone Heat Weighting: failed to find solution”;有杂散权重;腕扭时截面塌缩;衣服和身体的权重不一致,导致穿插。

开跑前准备
  • 去 rig 的脚本:删除骨架、Armature 修改器、顶点组、驱动器、correctives 形态键、rig UI 文本块
  • 把 B2 关节映射到 22 个角色位(人工做一次)
  • 姿态探针:把角色位对应的骨上的约束静音后直接设旋转;一个角色位对应多根扭转骨时,弯曲作用在第一根,扭转平均分配
  • 变形指标脚本;在 B2 上校准阈值
  • 跑 B0
Prompt 草稿
input/character.blend contains a character body mesh and clothing meshes in rest pose, without any armature. input/bone_roles.json lists 22 body roles (pelvis, spine_01, spine_02, chest, neck, head, and clavicle, upper_arm, forearm, hand, thigh, shin, foot, toe on each side). input/poses.json lists eight test poses.
Rig the character for animation:
- Build an armature with deformation bones placed at anatomically correct joint positions (Rigify is allowed; extra bones and controls are allowed).
- Skin every character mesh with clean weights: each vertex's weights sum to 1, at most 4 influences per vertex, and no stray weights (for example, no head vertex influenced by a hand bone).
- Provide IK/FK controls for arms and legs that still work after the file is reopened.
- Write output/bone_map.json mapping every role to your deformation bone (or ordered chain of bones, e.g. twist bones).
Locked: do not change mesh geometry (vertex count, order, positions), the rest pose or the units.
Deliver: output/rig.blend; output/bone_map.json; output/poses.png showing the eight poses from input/poses.json; output/report.json with the checks you actually ran.
After delivery the evaluator will drive your mapped deformation bones directly into the eight poses (e.g. shoulder raise 150°, elbow bend 140°, wrist twist 90°, torso twist 45°) and measure collapse, stretching, twisting and self-intersection, and will check joint positions and weight hygiene.
Work only in this directory; input/ is read-only; do not use the internet.

⑧ MOD-03 · 有机头部 base mesh:从参考图建模

L3P0 · 新增需准备

按正面和侧面参考图,做一个能做表情的头颈 base mesh。难点不在“形状大致像”,而在布线是否服务表情。

类别
建模 · 有机 / 人脸
用途 profile
animation_character
测试能力
SE UD
对应论文任务
Rendered images → CAD(有机)
预算
V0 60 min · V1 20 min

为什么测:直接对应“代码难建人脸”,以及你在单视图人物重建中看到的“几何很奇怪”。它和 TOP-01 共用检查器:TOP-01 给定形状、只测布线;MOD-03 形状和布线都要模型自己做。两题对比,可以把“形状理解”和“布线”分开。

给定
  • 正面、侧面参考图(2048 px,正交),从隐藏参考渲染:平滑着色、中灰材质、光头
  • 2D 地标:眼角、嘴角、鼻尖、下巴、耳屏
  • 头高 0.23 m;Eye_L / Eye_R 眼球位置固定
要做
  • 以四边面为主,控制笼 ≤ 2500 面,左右对称
  • 眼开口是边界孔,眼周 ≥ 3 圈同心环;口周 ≥ 3 圈
  • 鼻唇沟边流连续;极点在眼、口变形区之外
  • 颈部开放;耳朵可以简化,但必须与头部连续
锁定
  • 眼球不动
  • 鼻子、耳朵、嘴唇不得做成分离的穿插物体
  • 不得用法线贴图或位移贴图表达形状
交付
  • head.blend
  • 正面、侧面、3/4 视角线框图
  • topology_notes.json
  • report.json

实例与素材

实例素材(隐藏参考)处理B3
devA-human-base,Stylized 类中的另一个头(不能和 TOP-01 dev 用同一个)2 级细分后渲染正面和侧面;投影得到地标Tripo I07 重做:输入图要先细分、平滑着色
test-1ST-ellie 的头部区域,去掉头发同上可以加做一次 Tripo 多视图
test-2A-human-base,Realistic 女性头同上Tripo I06 重做:先做左右槽位约定测试

怎么测

  1. 硬门槛:1 个主壳 + 眼球;控制笼 ≤ 2500 面;没有分离的五官物体。
  2. 目标达成(自动):细分后与隐藏参考的距离 P95 ≤ 1.5% 头高(约 3.5 mm);投影地标误差 ≤ 3 mm;对称误差;语义环检测(与 TOP-01 相同);变形 mask 内的极点 ≤ 2 个。
  3. 用途探针:
    • E1 闭眼:把上眼睑第 1 圈的上半段沿眼球表面移到下眼睑,看是否穿插、是否局部拉伸。
    • E2 张嘴:用固定下颌骨 + 共享的程序化权重场,下颌旋转 15°,测口角面片的最小面积比和自交数。
    • E3 微笑:嘴角顶点以 15 mm 衰减半径上移 3 mm,看鼻唇区是否平顺。
  4. 人工:面部布线 0–4 分。
  5. 基线:
    • B1:球形头 + 椭球鼻 + 布尔眼窝;
    • B0′:拿到隐藏参考后跑 QuadriFlow 到 2500 面。预期保形好,但眼环和口环失败。它说明即使有参考,自动重网格化也得不到语义布线;
    • B3:Tripo。眼睛只是画在贴图上,所以闭眼探针必然失败。
  6. V1-F:“鼻梁抬高 2 mm,下颌角收窄 5%,不要破坏现有的眼环和口环。”

预计常见失败:球形头 + 布尔眼窝;嘴是贴在表面上的一圈独立环;对称轴处有缝;鼻子是独立物体;极点堆在嘴角。

开跑前准备
  • 渲染参考图(正交、平滑、光头);投影地标并输出 landmarks.json
  • 摆放眼球(取自原件的眼球位置)
  • 复用 TOP-01 的环检测和闭眼、张嘴、微笑探针
  • Tripo:先做槽位约定测试,再重做 I06 / I07
  • dev 实例额外跑一次“MCP + 视口截图”通道
Prompt 草稿
input/refs/front.png and input/refs/side.png (2048 px, orthographic) show a stylized adult head. input/landmarks.json gives the 2D positions of the eye corners, mouth corners, nose tip, chin and tragus in both images. input/scene.blend contains two eyeballs `Eye_L` and `Eye_R` at fixed positions; the head is 0.23 m tall.
Model an animation-ready head-and-neck base mesh named `Head`:
- Quad-dominant control cage with at most 2500 faces (a Subdivision Surface modifier is allowed), left-right symmetric (a Mirror modifier is allowed).
- Each eye opening is a boundary hole around its eyeball with at least 3 concentric closed quad loops; the mouth has at least 3 concentric closed loops.
- A continuous nasolabial edge flow; poles stay outside the eye and mouth areas.
- The neck is an open boundary; ears may be simplified but are connected to the head; nose, ears and lips are part of the same mesh.
Locked: do not move the eyeballs; no normal or displacement maps.
Deliver: output/head.blend; output/wire_front.png, output/wire_side.png and output/wire_34.png; output/topology_notes.json (every pole and why it is there; where the loops are); output/report.json with the checks you actually ran.
After delivery the evaluator will compare the subdivided head with a hidden reference, check the landmarks, select loops, close the eyelids, open the jaw 15° with a fixed bone and weight field, and push the mouth corners into a smile.
Work only in this directory; input/ is read-only; do not use the internet.

⑨ DIAG-01 · 工程诊断:找出交接文件中的缺陷(只读)

只读本页新增需准备

给若干个“准备交给下游”的 .blend,其中一部分注入了已知缺陷,一部分完全干净。模型只做检查,给出缺陷清单和证据,不修改文件。

类别
评估 · 检查与诊断
用途 profile
按文件声明:动画 / 游戏引擎 / 渲染
测试能力
D UX
对应论文任务
Feature recognition + 自主评估
预算
每组 20 min

为什么测:在生成题里,D 能力和生成能力混在一起:没发现问题,可能是看不出来,也可能是不会修。这道题把 D 单独拿出来,有标准答案,评分完全客观。干净文件则检验它会不会为了“表现得有用”而误报(研究方向复审里也强调了“允许原产物没有问题”)。

给定
  • 8–10 个 .blend,每个 0–4 处缺陷,其中 2 个完全干净;不告诉模型缺陷数量
  • 每个文件的用途说明(“将交给动画师”“将导入引擎”等)
要做
  • 用 Blender 检查(可以写脚本、渲染)
  • 对每个问题报告:文件、物体、类型、位置(元素索引、骨骼、顶点组、贴图路径、帧号等)、严重度、证据、修复建议
  • 干净的文件要明确写“无问题”
锁定
  • 不修改任何输入文件
  • 不报风格偏好类的“问题”
交付
  • defects.json
  • report.json

缺陷库与素材

缺陷类型注入方法底稿素材
腋下权重塌陷把腋下一条环的权重改成单骨ST-gabby(不能用 ST-snow,它是 RIG-01 的隐藏 B2)
杂散权重头部 30 个顶点给手骨 0.2 的权重ST-gabby
法线翻转翻转一小片面PH-vintage_electric_kettle
UV 重叠把一个岛平移到另一个岛上Q-universalbasecharacters 第 3 个角色
贴图丢失 / 绝对路径改成本机绝对路径或不存在的路径BAKE-tool-pack-2(钳子)
形态键穿插blink 过冲,穿进眼球Q-UBC 头部 + 自制的形态键
非流形 / 重复顶点 / 小洞删除 3 个面;复制一圈顶点PH-ceramic_pot
修改器顺序错误Mirror 放到 Subdivision 之后,产生中缝自建外壳的副本
负缩放未应用scale.x = −1,导出后法线反向PH-metal_toolbox
接触 / 悬空把物体抬高 2 mm,与地面脱离DEMO-classroom 的一组桌椅

怎么测

  1. 按缺陷类型统计召回率和精确率。干净文件上的误报单独列出。
  2. 定位准确度:报告的元素集合与注入的元素集合的 IoU(≥ 0.5 才算定位正确)。
  3. 严重度是否合理:与标注比较,只描述,不计分。
  4. 可选的修复分支 DIAG-01F:只修报告过的缺陷,检查修复率和回归。
  5. 基线:只看 Blender 自带的 “Select All by Trait” 和统计信息,能发现哪些类型(作为工具下限)。
开跑前准备
  • 写注入脚本,并为每处缺陷记录真值(元素索引和类型)
  • 同一份底稿生成“有缺陷”和“干净”两个版本
  • 如果用到 Wave 1 生成题的素材,必须等该题所有分支都跑完
Prompt 草稿
input/ contains several Blender files that are about to be handed over; input/handover.json states, for each file, who receives it (animation, a game engine, or rendering). Some files contain production problems, some may contain none.
Inspect every file with Blender (you may write scripts and render images). Do not modify any input file.
Write output/defects.json. For each problem give: file, object, type, location (vertex / edge / face indices, bone, vertex group, image path, frame …), severity (blocker / major / minor) for the stated receiver, the evidence (what you measured or saw) and a suggested fix. If a file has no problem, say so explicitly. Do not report style preferences.
Also write output/report.json with the checks you actually ran on each file.
Work only in this directory; input/ is read-only; do not use the internet.

⑩ JUDGE-01 · 可用性判断:候选网格排序与探针预测(只读)

只读本页新增依赖前序

同一个形状给 4 个匿名候选,分别来自美术 B2、B0、B1、模型自己的产物或 B3。模型要按指定用途排序,指出具体问题,并预测探针结果。

类别
理解 · 生产可用性判断
用途 profile
每组声明一种
测试能力
UD
对应论文任务
Part classification(模型理解)
预算
每组 15–20 min

为什么测:它回答一个关键的归因问题:GPT 是“懂好布线但做不出来”(瓶颈在执行或工具通道),还是“根本判断不了”(瓶颈在知识)。把模型自己的 V0 产物匿名混进候选,还能测自我评估偏差:它会不会把自己的产物排得比证据支持的更高。这直接关系到 V1-S 自主迭代有没有效。

给定
  • candidates.blend:Cand_A–Cand_D,名称和顺序随机,元数据已清洗
  • 用途说明
  • 一个具体探针的描述,例如“肘部弯曲 135°”
要做
  • 按用途从好到差排序
  • 每个候选最多列 3 个具体问题,附元素索引或区域,以及实测数值
  • 预测每个候选在指定探针下是通过还是失败,并给一句理由
锁定
  • 只读,不修改候选
交付
  • judgment.json
  • report.json

候选组

组形状 / 用途候选可以开跑的时间
J1、J2头部 / animation_characterTOP-01 的 B2、B0a(QuadriFlow)、B1、模型 V0TOP-01 所有分支跑完之后
J3手臂 / 变形同上(手臂实例)同上
J4、J5鼠标外壳 / subd_heroMOD-02 的 B2(m510 控制笼)、B1、B0′、模型 V0;或者把 B3 Tripo 换进来MOD-02 和 E2E-P 都跑完之后
J6道具 / game_lowpolyBAKE-01 的 B2 低模、B0(Decimate)、模型 V0、Tripo 自带的低模BAKE-01 跑完之后

怎么测

  1. 排序的 Kendall τ。标准答案来自评测器的探针结果,不来自人工观点。
  2. 问题定位:与评测器检出的缺陷(变形区内的极点、断开的环、N-gon、浪费的三角面)比较,算精确率和召回率。
  3. 探针预测的准确率。
  4. 自我偏差:模型自己产物的排名,减去证据应得的排名。
  5. 对照:随机排序(τ 期望为 0);按四边面比例排序。后者用来展示“四边面比例不等于布线质量”。
Prompt 草稿
input/candidates.blend contains four meshes `Cand_A`, `Cand_B`, `Cand_C` and `Cand_D` that represent the same {head | arm | mouse shell | game prop}. Intended use: {an animated character's head that needs blinking, jaw opening and smiling | an elbow that must bend to 135° | a SubD hero surface that designers will keep editing | a game asset under a triangle budget}. Do not modify them.
1. Rank the candidates from most to least suitable for the intended use.
2. For each candidate list up to three concrete problems with evidence (element indices or regions, and numbers you measured).
3. For each candidate predict the result of this test: {probe description}. Answer pass or fail with a one-sentence reason.
Deliver output/judgment.json and output/report.json with the checks you actually ran.
Work only in this directory; input/ is read-only; do not use the internet.

5 · Wave 2:完整任务与有机改稿

完整任务的作用不是再测一遍单项能力,而是测跨工序的误差累积,并把端到端的失败归因到具体工序。做法如下:

  1. 要求模型在每个阶段结束时保存 checkpoint;
  2. 用 Wave 1 的同一套评测器分别评每个 checkpoint;
  3. 与同一素材上“上游冻结”的原子题成绩对照:
    • 原子题过、链上没过 → 问题出在误差累积或协调;
    • 两边都没过 → 是该工序本身的能力缺口。

E2E-C · 角色链:雕刻 → 布线 → UV → 绑定 → glTF

L3 链Wave 2
测试能力
XES DI
预算
V0 180 min(只跑 V0)
给定
  • 稠密的角色雕刻网格(A-pose 或 T-pose)
  • bone_roles.json
  • 用途说明:游戏引擎用的动画角色
要做 / 交付
  • 生产布线(≤ 12k 面),UV,骨架和权重,character.glb
  • checkpoint:stage_topology.blend、stage_uv.blend、stage_rig.blend、character.blend
实例素材B2
C-1ST-victoria 全身,按 TOP-01 的配方降质。注意:它在 UV-01 test-2 里只给了头颈,没有给全身,所以必须等 UV-01 跑完再跑原布线、原 UV、原 rig 各作对应阶段的 B2
C-2F1-tripo-T05-r1(AI 全身,T-pose)无 B2,只跑自动检查。这是最贴近“tripo 当工具、GPT 做后续生产”这个设想的实例

评测方法:每个 checkpoint 分别跑 TOP-01、UV-01、RIG-01 的检查,glb 跑 PKG-01 的检查。报告时与 TOP / UV / RIG 原子题按同样的 profile 对齐。

Prompt 草稿
input/sculpt.blend contains a dense character sculpt (1–2 million triangles) in {A | T}-pose; units are meters. Make it animation-ready for a game engine:
1. Production topology for deformation, at most 12k faces, symmetric, with proper loops at eyes, mouth, shoulders, elbows, knees and wrists. Save output/stage_topology.blend.
2. UVs suitable for painting (hidden seams, low distortion, one continuous face island). Save output/stage_uv.blend.
3. An armature with the deformation roles in input/bone_roles.json, clean weights (sum to 1, at most 4 influences) and IK/FK controls; write output/bone_map.json. Save output/stage_rig.blend.
4. Export output/character.glb (1 unit = 1 m, correct axes) and save output/character.blend.
Locked: keep `Sculpt` unchanged in the file as the shape reference.
The evaluator will apply the same checks as the separate topology, UV and rigging tasks to each checkpoint, and will validate and re-import the glb in three poses. Write output/report.json with the checks you actually ran at each stage.
Work only in this directory; input/ is read-only; do not use the internet.

E2E-P · 产品链:四视图 → SubD 外壳 → UV → 材质 → 展示渲染

L3 链Wave 2
测试能力
USX ED
预算
V0 150 min
  • 输入:与 MOD-02 dev 完全相同的 m510 四视图和尺寸;另给一份材质规格:顶壳为哑光 ABS,侧裙为橡胶,滚轮为亮面。HDRI 用 studio_small_03、kloofendal_overcast、belfast_sunset。
  • checkpoint:stage_model.blend、stage_uv.blend、stage_lookdev.blend,外加 3 个 HDRI 下的转台渲染。
  • 评测:
    • 形状部分用 MOD-02 的全部检查,然后与 MOD-02 dev 的原子成绩直接比较。同一个素材、同一个模型,差别只在是否在链上;
    • UV 部分用 UV 指标;
    • 材质部分按规格逐项检查参数,ROI 内的高光是否截断由人工判断。
  • 隔离:与 MOD-02 共用同一个隐藏参考,两题都不暴露这个参考,所以不冲突。只要分别在独立的工作目录里运行即可。

MOD-04A · 既有资产改稿:有机头部

L4Wave 2
测试能力
UEI D
预算
V0 60 min · V1 20 min
  • 为什么放到 Wave 2:需要一个同时带 UV、形态键、权重和 Mirror 修改器的生产头部,还要人工做出隐藏目标和 drawover,准备成本比 4B 高。
  • dev 底稿:用 Q-universalbasecharacters 第 4 个角色的头自建。依次加 Mirror + SubD、UV_Main、形态键 blink_L / blink_R / jaw_open、一个简单的下颌骨和权重。Mirror 陷阱依赖 Mirror 修改器,所以必须自建。
  • test 底稿:ST-jay 的头部。它没有 Mirror,但有 correctives 和驱动器,身份签名要把驱动器也算进去。
  • 改稿(v0.4 原文):
    1. 鼻梁抬高,鼻尖上翘约 3 mm;
    2. 下颌角收窄 6%;
    3. 左颧骨下方加一道 25 mm 长的浅凹疤痕(Mirror 陷阱)。
  • 检查:
    • 身份门槛:非编辑区 P95 ≤ 0.1 mm,UV 哈希,形态键名称,顶点组,修改器;
    • 目标与隐藏目标的距离;
    • 形态键回归:blink 后眼睑缝隙 ≤ 0.3 mm,与眼球穿插为 0;
    • 右脸对应区的位移 ≤ 0.1 mm。
  • 预计常见失败:
    • 改了 Basis 后,形态键的相对偏移失效,闭眼闭不上;
    • Mirror 让疤痕出现在两侧;
    • 疤痕区新加的顶点没有 UV 和权重。

RIG-02 · 面部形态键

L4Wave 2
测试能力
SE
预算
V0 60 min · V1 20 min
  • 输入:布线合格的头部,先用语义环检测器确认合格,眼球是独立物体。候选:TOP-01 dev 的 B2 原件(TOP-01 全部跑完后才能用),或 Q-UBC 第 5 个角色的头。
  • 要做:形态键 blink_L、blink_R、jaw_open、smile_L、smile_R、brow_up。
  • 检查:
    • 闭眼时眼睑缝隙 ≤ 0.3 mm,且不穿插眼球;
    • 左右镜像误差;
    • blink 与 smile 叠加时不爆炸、不自交;
    • 非目标区域的位移 ≤ 阈值;
    • 人工判断表情可读性。
  • B2 的缺口:原计划用 MPFB 的表情资产,但它在未解决列表里。可以改用 ST-snow 的面部 correctives 作参考(等 RIG-01 跑完之后);或者不设 B2,只靠自动检查。
  • 预计常见失败:用代码把顶点组整体平移,眼睑像一块“滑动的面罩”,没有沿眼球表面翻卷。

已有的 13 个端到端 pilot:先复评,不重跑

object 6 例、scene 4 例、animation 3 例已经有 GPT 的产物。先用新评测器复评,成本几乎为零:

  • portrait-woman-1、fullbody-man-1:跑语义环和极点检查;
  • hard-object-1:跑斑马纹和曲率检查;
  • animation 3 例:在求值后的网格上测接触,而不是测控制点。这一条正是研究方向复审 E4 里的待办。

复评结果可以和 Wave 1 的原子题放在一起,作为“自由生成”条件下的对照。

6 · Wave 3–4:其余工序(简表)

ID工序级别能力素材建议核心测法注意
BLK-01概念三视图 → 比例粗模L2US原计划的扫描枪没有素材。改用 PH-Drill_01 渲染出三视图剪影和线稿作为“概念图”;B3 用 Tripo I09(需要先有概念图)三视图轮廓 IoU ≥ 0.90;6 个部件;评测者旋转扳机、抽出电池仓本题不要求抗 B1,用基本体正是合格做法
PKG-01引擎导出 glTFL2XDST-gabby 带骨架角色;GLTF-Fox 作冒烟测试glTF-Validator 0 个错误;1 单位 = 1 m;坐标轴;影响骨 ≤ 4;LOD0 / LOD1;在干净的 Blender 里重新导入,3 个姿态下对比—
LOOK-01材质 LookDevL3UEPH-vintage_electric_kettle(曲面水壶,替代 v0.3 的圆柱水壶);Poly Haven 原材质作 B2;HDRI:studio_small_03、kloofendal_overcast、belfast_sunset3 个 HDRI 下在固定 ROI 内与 B2 比较;磨损 mask 与曲率的相关性;探针:通过暴露的参数调整磨损量保留 v0.3 中“自主发现高光截断”这一好题型
LGT-01匹配背景板的灯光L3SD用 CG 生成有真值的背景板:DEMO-italian-flat 已知灯光渲染 + 灰球和铬球;产品用 PH-Camera_01CG 灰球、铬球逐像素比较;阴影方向;主辅光比B0(默认 HDRI)应该失败;先修好审查相机的裁切
ANI-01手 K 动画L3SEST-snow 原绑定(RIG-01 全部跑完后才能用);动作参考 CMU-26-09(弯腰拾取),渲染成参考视频在求值后的网格上测接触;F 曲线烘焙率;重定时探针逐帧打关键帧,就是动画领域的“基本体堆叠”
LAY-01只给约束的布局L2SEDEMO-classroom 的桌椅;PH-SchoolChair_01、PH-wooden_bookshelf_worn约束逐项自动检查;用 object index 测可见性;整组移动探针不给坐标
PROC-01Geometry Nodes 楼梯生成器L2–L3XE路径曲线 + 规范;PH-modular_fire_escape 作风格参考50 组随机参数 × 3 条曲线的 fuzz 测试一次性脚本不能冒充工具
RIG-03闭环机械连杆L2–L3S原计划的挖掘机和液压缸(BS-24799)未下载。改用 PH-desk_lamp_arm_01(平衡臂台灯,含平行四边形连杆);CAD-TheRobotStudio-SO-ARM100 作串联臂对照姿态扫描下的连杆长度波动、同轴角Wave 4
PRE-01需求规划L2US文本简报里埋 3–5 处隐含冲突;统计冲突召回率Wave 4
PRE-03分镜预演L2SUv0.3 场景,加一根会遮挡的立柱用 object index 测可见像素比Wave 4
FX-01布料模拟L2XD自建logo 区被完全覆盖;全帧穿透Wave 4
REN-01渲染L1–L2XDDEMO-classroom每帧 ≤ 20 s,且噪点低于阈值Wave 4
POST-01合成L2SDTears of Steel(D-tears)未下载 → 改用 CG 分层 EXR区域 mask 内量化辉光Wave 4
CUT-01剪辑 / 声音 / 字幕————移出核心,可选

7 · 素材分配与冲突表

规则:同一件素材如果在一道题里是隐藏参考,在另一道题里是输入,模型就可能从后者看到前者的答案。下面的分配已经尽量避开这种情况。实在无法避开的(标“⏱”),必须等隐藏它的那道题所有分支(含 E2E)都跑完,再跑暴露它的那道题。
素材TOP-01MOD-03UV-01RIG-01其他
HB · Stylized 头 #1dev(隐藏 B2)⏱ JUDGE J1、RIG-02 输入
HB · Stylized 头 #2dev(隐藏参考)
HB · Realistic 男头test-1(隐藏 B2)⏱ JUDGE J2
HB · Realistic 女头test-2(隐藏参考)
HB · Realistic 全身(手臂段)test-2(隐藏 B2)⏱ JUDGE J3
Q-UBC 角色 1–6#2 dev#1 dev#3 DIAG;#4 MOD-04A dev;#5 RIG-02;#6 备用
ST-raintest-1(隐藏原 UV)—
ST-victoriatest-2(只给头颈)⏱ E2E-C 的 C-1(全身,隐藏布线、UV、rig)
ST-snowtest-1(隐藏 rig)⏱ ANI-01、RIG-02 参考
ST-philtest-2(隐藏 rig)
ST-ellietest-1(隐藏参考)
ST-gabbyDIAG 权重缺陷;PKG-01
ST-jayMOD-04A test
ST-einar高难备用(机械臂 + 复杂服装)
BS-7353 m510MOD-02 dev(控制笼为 B2,细分面为隐藏参考)E2E-P(同一隐藏参考);⏱ JUDGE J4
Ploopy / Moudabella STEPMOD-02 test-1 / test-2(隐藏参考)⏱ JUDGE J5
BS-16092 G502—MOD-04B test-1(输入)
BS-7917 Bose QC15—MOD-04B dev(输入)
BAKE 扳手 / 手雷 / 德林加—BAKE-01 dev / test-1 / test-2(高模作输入,低模作隐藏 B2);⏱ JUDGE J6
Tripo T01 / T02 / T05 / T14T01、T02 附加T05 附加T05 → E2E-C 的 C-2;T14 → BAKE 附加

未解决的 35 件对 Wave 1 的影响

未解决素材原计划用途影响替代方案
SK-femaleheadscan、SK-atlashead、SCAN-helenTOP-01 的扫描输入无阻塞用 Human Base Meshes 降质,而且有 B2,比扫描件更有用
A-mpfbRIG-02 表情 B2;更多人体RIG-02 没有 B2ST-snow 的 correctives,或者只用自动检查
BS-24998 GameBoy、BS-29349 消防栓MOD-04B 的非破坏底稿缺第 3 个实例按 v0.4 变体 B 用脚本自建
BS 系列耳机 ×6、SK 耳机 ×2MOD-02 / MOD-04 的更多曲面实例无阻塞Bose 已经覆盖
BS-24799 液压缸RIG-03Wave 4平衡臂台灯
D-tears、SC-sponza、SC-jungle、NC-emeraldPOST / REN / LGTWave 3–4CG 分层 EXR;DEMO 场景
SUB-dog / cat / whale、A-horse、A-mouse-animal非人绑定无阻塞ST-autumn(狗)、Q-ultimateanimatedanimals、Tripo T08 / T09

8 · 评测器实现清单

每个检查器冻结前都要满足三条:B2 通过;预先注入的已知缺陷被拒绝;B0 / B1 的表现符合预期。实现上统一在 Blender 4.3 后台用 bpy、bmesh、mathutils 完成,避免引入额外依赖。

#指标实现要点用于优先级
1双向保形距离在求值后的网格(depsgraph)上均匀采样约 20 万点,用 BVHTree.FromObject + find_nearest 双向计算 P95 和最大值,按包围盒对角线归一化;控制笼单独报告TOP、MOD-02/03、E2E第 1 周
2语义环检测有孔特征:取离地标最近的边界环作第 0 圈,用 bmesh 广度优先扩展出第 1–3 圈;判断每圈是否为单一闭合环、两圈之间是否全是四边面、圈上是否没有 valence ≠ 4 的顶点。无孔特征:mesh.loop_multi_select(ring=False),再判断闭合、卷绕数和夹角TOP、MOD-03、RIG-02、JUDGE第 1 周
3变形区极点由地标球形 mask 圈定区域,统计其中 valence ≠ 4 的内部顶点TOP、MOD-02/03第 1 周
4轮廓 IoUWorkbench 平涂渲染二值 mask(固定相机组)BAKE、BLK第 1 周
5身份签名逐物体记录:顶点数、坐标数组哈希(保留 1e-6)、UV 层哈希、修改器(类型、名称、顺序、是否启用)、形态键名称和数据、顶点组名称和权重、约束、驱动器表达式、材质;编辑区之外逐顶点计算位移MOD-04、所有“锁定”项第 1 周
6UV 指标逐面计算 UV→3D 的 Jacobian,得到共形失真 σ₁/σ₂ 和面积失真 log 比;缝可见度:沿缝采样点,从各相机做射线和正面判断;打包利用率和重叠:在 2048 栅格上光栅化;间距:岛 mask 之间的距离变换UV、BAKE第 2 周
7固定骨架 + 权重场的变形探针所有提交共用:评测脚本自建骨骼,权重为沿骨轴的 smoothstep(过渡宽度 40 mm)。指标:最小面积比、自交(求值后网格的 BVHTree.overlap,排除相邻面)、沿法线射线测厚度、局部体积比TOP(臂)、MOD-03第 2 周
8姿态探针(RIG)按 bone_map 驱动;把角色位对应骨上的约束静音后直接设旋转;扭转骨链平均分配扭转;同时输出权重卫生统计RIG-01、E2E-C、PKG第 2 周
9烘焙明暗误差Cycles 渲染,灰色漫反射材质 + 法线贴图,8 个方向的太阳光,与高模在 mask 内比较 P95BAKE第 2 周
10glTF 校验gltf_validator 命令行 + 重新导入后比较BAKE、PKG、E2E-C第 2 周
11曲率异常簇在 3 级细分网格上算 cotan 离散平均曲率,与参考最近点处的曲率比较;把符号翻转的顶点聚成连通簇MOD-02第 2 周
12编辑探针自动化选离预定点最近的边环,用衰减编辑平移;记录操作次数、目标是否达成、是否回归MOD-02 E1/E2、MOD-01第 2 周
13日志审计从事件流中检测是否调用了 quadriflow_remesh、smart_project、parent_set(type='ARMATURE_AUTO')、decimate 等 B0 工具全部第 1 周

9 · 记录与报告

每次运行的记录(建议放进 run_record.json)

{
  "run_id": "20261105_top01_dev_v0_r1",
  "task": "TOP-01", "instance": "dev:HB-stylized-head-1", "split": "dev",
  "branch": "V0", "repeat": 1,
  "model": "gpt-6-astra", "effort": "max", "channel": "codex-bpy", "web": false,
  "budget_s": 3600, "wall_s": null, "hit_budget": null,
  "tokens_in": null, "tokens_out": null, "tool_calls": null,
  "b0_tools_used": [],
  "gate": null, "goal": {}, "probes": {}, "human": {"rater1": null, "rater2": null},
  "verdict": "门槛未过 | 未达标 | 相当于B0 | 达标 | 达标且优于B0",
  "notes": ""
}

人工 0–4 分最好由两人打。只有一个人的话,隔天再盲评一次(隐藏来源),记录两次的一致性。

每题的结果表

实例模型 V0V1-FV1-SB0B1B2B3用时
dev…——……………
test-1……………………
test-2……………………

每一格按“门槛 / 目标 / 探针 / 人工”四层分别填写。不合成跨题总分。模型的结果只和 B0 相当时,结论写“相当于自动工具”,不写“通过”。

只测一个模型时,报告的五组核心对照

#对照怎么算能回答的问题
1难度阶梯L1(MOD-01)、L3(MOD-02、MOD-03、TOP、UV、BAKE、RIG)、L4(MOD-04)各自的达标率“看起来能做”和“能进生产”之间差多少
2模型 − B0每题核心指标上,模型相对 B0 的增量GPT 比一键工具多做了什么
3改自己 vs 改别人各题 V1-F 的目标达成率和回归数,与 MOD-04 的身份门槛和目标达成比较能重跑自己的脚本,不等于会改别人的资产
4会判断 vs 会做同一素材上,JUDGE / DIAG 的准确率与对应生成题的达标情况交叉成 2×2 表瓶颈在知识,还是在执行或工具通道(方向上可能指向训练数据或 harness)
5原子 vs 完整链E2E 各 checkpoint 与同素材原子题比较,把失败归到具体工序误差累积在哪道工序最严重

另外,通道对照(bpy 与 MCP + 截图)只在 TOP-01 dev 和 MOD-03 dev 上各做一次,只能作为局部证据,不能推广成通道效应的结论。

10 · 风险与待确认

  1. 素材都在 Mac 上,没有验收:本服务器只有元数据。各素材 asset.json 的 inspection_status 与 _download_state/asset_status.json 不一致,入场检查后要统一。
  2. Human Base Meshes 的实际内容:包内有几个头和身体、原件是否有眼口开孔、眼环有几圈,都会影响 TOP-01、MOD-03 的分配和 B2 资格。这是第一件要确认的事。不够用时,用 Q-UBC 或 ST 角色的头补位。
  3. B2 可能过不了检查器:例如美术 UV 在脸前有缝,或基础网格的眼环少于 3 圈。处理办法是先校准;不通过就调阈值或换实例,不要为了让 B2 通过而改题意。
  4. 只测一个模型:所有结论都要限定为“GPT-6 Astra(max)在该 harness 下”。v0.3 已经发现,评测器的误报会被误当成模型失败(MOD-01 孔径、RIG-01 相机),所以每个失败都要先排除评测器和 fixture 的问题。
  5. V1-F 的反馈必须在看过 V0 后确认 V0 还没满足。v0.3 的 PRE-02 就因为 V0 已经满足反馈,失去了区分度。
  6. Blender Studio 角色文件比较复杂:里面有驱动器、自定义属性和 rig UI 脚本。打开时关闭“自动运行脚本”;去 rig 时连驱动器和文本块一起清掉。
  7. 许可:
    • Tripo 的条款是 share-only,原始 glb 不要再分发;
    • Blender Studio 角色是 CC-BY,但作者页面未核实;
    • Prusa 零件是 GPL,Ploopy 是 CERN-OHL。
    题库以后如果公开,需要逐项核对。
  8. 本页公开可见,写明了隐藏参考是哪件素材。运行时必须断网;如果担心之后被检索到,可以给 public_html/blender_bench 加访问控制。
  9. 成本:60 分钟的 L3 预算会明显增加额度消耗。建议先跑完全部 dev 实例,看实际用时分布,再决定 test 实例是否把 V0 跑 2 次。

11 · 脚本与实测修订(2026-11-02)

脚本放在项目的 blender_bench/code/ 目录下,打包下载:tar.gz(约 7100 行 Python),使用说明见 README.md。

每道题包括出题(prepare.py)、基线(baseline_*.py)、评测(evaluate.py / score.py)、英文 prompt 和反馈模板。运行器 harness/bench_v04.py 在 production_v1 的 Codex 调用基础上增加了:

  • 按题设置的时间预算;
  • V0 和 V1 分开启动;V1-F 的反馈没改写时停在 needs_feedback,不会发出去;
  • 每个阶段结束后自动评测,并审计是否调用了 B0 工具。

harness/baselines.py 执行捷径审计:先在 B2 上校准限值,再生成并评测全部基线,输出 freeze_ok。

本机实测(Linux,Blender 4.3.2,用 Human Base Meshes、tool pack 1 和自建素材)

题B2基线捷径审计
TOP-01 头全部通过QuadriFlow:gate 失败(分成两件,没有眼环和口环);体素 + Decimate:距离和环都失败✅
TOP-01 臂全部通过QuadriFlow 全部通过❌ 降级为对照
MOD-03全部通过B1:距离 18% 头高、没有环;B0′:距离通过,但没有环✅
MOD-02全部通过B1 / B0′ 在距离、曲率、编辑探针上失败✅(仅用合成外壳验证)
MOD-04B全部通过“应用全部修改器”在修改器栈 gate 上失败;什么都不改则 goal 全部失败✅
UV-01失败Smart UV / 无缝 Unwrap 都失败⚠️ HB 头的 UV 不能作 B2
BAKE-01全部通过(校准后)无 cage 烘焙:明暗 P95 0.77,padding 0.6 px✅
RIG-01—(HB 没有骨架)Rigify metarig 和比例骨架 + 自动权重:都在权重卫生和多数姿态上失败待 ST 角色作 B2
DIAG-01 / JUDGE-01—用构造的假报告验证了评分器✅

对本页的修订

  1. TOP-01:
    • test-2 由手臂改为第三个生产头部(ST-* 或 Q-UBC 的头,B2 校准后眼环 ≥ 2);
    • 面数预算改为每个实例取 1.1 × B2,不再固定 3000,因为 HB 头部本身就有 3.2k–4.1k 面;
    • 题面改为“眼开口可以是边界孔,也可以是翻进眼窝的眼睑”。
  2. 语义环的定义改为可见的、嵌套的闭合边环,一次环选允许穿过不超过 2 个极点。原因是美术常把极点放在外眼角,严格定义下连 B2 也通不过。
  3. 阈值按实例校准:
    • 环数要求 = min(3, B2 实测值),并写进该实例的 prompt;
    • 极点限值 = B2 + 2;
    • 探针限值相对 B2,存放在 calibration.json。
  4. UV-01:HB 的 UV 在脸部中线切开,不满足本题合同。B2 必须来自生产角色,并且先通过 B2 评测。
  5. BAKE-01:美术自带的法线贴图包含高模里没有的细节,因此 B2 改为“美术低模 + 用 cage 重新烘焙的贴图”。轮廓 IoU 和 sharp 边两项的限值跟随 B2。
  6. QuadriFlow 拒绝真实尺度的小网格(报“非流形”),要先放大再缩回。模型跑题时也可能踩到这个坑,值得在轨迹里观察。
  7. MOD-04B:drawover 由脚本自动生成(改前渲染上用红线圈出与目标的差异),也可以换成手绘。自建外壳实例完全由脚本生成,含 Mirror 陷阱。