P1.A eval convention audit (統合) — 7 軸の diff 確定、apparent gap 推定 -3〜-6 dB

P1.M1 gate (eval convention 統一確定 + 数式 diff 定量化) 充足のための統合 finding doc。並列で実行した p1-a-1-brush-eval-audit (brush 側、12 axes) と p1-a-2-splat-eval-audit (splat-rs 側、7 軸 + 内部 inconsistency 1 軸) を突合し、両者の diff を 7 axes (D1-D7) に整理。これが P1.A.3 reproducer (同 PLY を 2 convention で測る script) と P1.A.4 (splat-rs eval を brush 準拠に統一、config flag 化) の input となる。

1. 統合 diff table (7 axes)

2. 最重要 finding: background composite の逆方向 convention (D2 + D3)

3. 各 trainer の eval 数式 (再掲、統合 view)

splat-rs (本実装)

入力:
  rendered : f32 H·W·4 RGBA (chunks(4) で per-pixel、α 列 = 1-T、bg 未合成)
  target   : f32 H·W·4 RGBA (chunks(4) で per-pixel、α 列 = 1.0 hardcode、white-bg pre-comp 済み)

MSE = (1 / (3·H·W)) · Σ_{p ∈ pixels} Σ_{c ∈ {R,G,B}} (rendered[p,c] − target[p,c])²
PSNR = -10 · log10(MSE)   if MSE > 1e-12 else 100.0

split: transforms_val.json (100 view)
per-view PSNR の mean (mean-PSNR、not PSNR-of-mean-MSE)
clamp / quantize なし

brush (Apache 2.0 OSS)

入力:
  pred  : f32 H·W·3 RGB  (slice(s![.., .., 0..3])、bg=Vec3::ZERO で α-blend 済み、premultiplied)
  pred' : f32 H·W·3 RGB  (pred を (*255).round()/255 で 8-bit roundtrip)
  gt    : u8  H·W·4 RGBA (AlphaMode::Transparent → byte 空間で α premultiply 済み)

MSE = mean((pred' − gt_rgb_normalized)²) over H·W·3   (α channel は loss 対象外)
PSNR = 10 · log10(1 / MSE) = -10 · log10(MSE)         (MAX² = 1 暗黙)

split: transforms_val.json → transforms_test.json (val 無いとき fallback)
       NeRF Synthetic は test (200 view) を使用、subsample なし、全 view を逐次回し
per-view PSNR の mean

4. 数式上は同じ、convention で逆方向

PSNR の本体定義式 (-10 · log10(MSE), MAX = 1.0, RGB only, per-view mean) は 完全同等。違いは入力画像 (pred / gt) の作られ方:

• brush は "両者を premultiplied-α + bg=ZERO" に揃える (training/eval 共通の canvas) → 透明領域で free PSNR (両者 0)
• splat-rs は "GT に white-bg 合成 / rendered には合成なし" の mismatch → 透明領域で free penalty (convergence 残差が直接 MSE 化)
• どちらが "正しい" 評価か? という議論は orig 3DGS (Kerbl+ 2023) を参照すべきだが、brush の方が paper 系標準に近い と推定 (premultiplied-α は graphics の自然な convention)
• splat-rs の mismatch は 意図的ではなくバグ寄り (training は 4ch / eval は RGB only の内部 inconsistency も同根)

5. split 違い (D1) の独立 impact

splat-rs=val (100 view)、brush=test (200 view) は 完全に異なる camera set。NeRF Synthetic の train/val/test split は paper 標準で 100/100/200 で、val は train から近い角度、test は新規 novel view。同 trainer / 同 ply でも val/test では 1-2 dB 程度の差が出る (一般的に test の方が難しく PSNR 低い)。

• もし splat-rs を test split で評価すると: 24.879 → さらに 1-2 dB 下がる可能性 (apples-to-apples では gap がさらに広がる)
• もし brush を val split で評価すると: 37.40 → +1 dB 程度高くなる可能性 (gap 広がる方向)
• つまり D1 単体では splat-rs にとって不利な方向 (現状の数字は val で甘い)、ただし他の D2-D4 で apparent 嵩上げを brush が取っているので相殺
• A.3 で同 trainer を 100/100/200 split 全部回して absolute 差を測れば確定

6. apparent gap 推定 (主仮説)

7. 主仮説の崩壊条件 (要 A.3 で確認)

1. brush 37.4 dB が --alpha-mode=masked で取られていた場合: premultiply 経路を通らず、masked-only loss で評価される。この場合 D2/D3 の apparent 嵩上げ仮説は無効化 → algorithmic gap が大きい。
2. brush の rendered output が premultiplied でなく post-multiplied だった場合: brush-render-bwd kernel 確認が必要 (A.1 audit で推定止まり)。post-multiplied なら bg=ZERO 比較の意味が変わり、apparent 嵩上げが小さくなる。
3. NeRF Synthetic の透明領域比率が予想より小さい場合: lego は car 周辺で透明大、ficus は枝間で透明中、hotdog は単一物体で透明少 — シーンによって D2 の効きが変わる可能性 (multi-scene で再検証必要)。

8. P1.A.3 reproducer 設計 (次 phase へ申し送り)

目的: 同 trained ply / 同 GT camera から、D1-D4 を 1 軸ずつ切り替えて PSNR を測り、各 convention の dB 寄与を実証する。

1. 資材: splat-rs lego sh3 30k final.ply (既存)、NeRF Synthetic lego の transforms_val.json + transforms_test.json (両方)
2. script 構成: Python (PIL/numpy) で十分。同 ply を camera 全て render、output PNG dump、別 script で D1-D4 を ON/OFF 7 通り組み合わせて PSNR 計算
3. 切り分け matrix: (D1: val/test) × (D2: rendered bg = 0/white) × (D3: α-mask on/off) × (D4: clamp+quant on/off) = 16 通り、ただし D2-D3 は相関するので実質 8 通り
4. oracle: brush 本体を C 経由で叩き、同 ply に対する brush eval の PSNR を取得 (brush バイナリの brush-c API、要調査)
5. 期待 deliverable: docs/findings/p1-a-3-cross-eval-reproducer.toml + scripts/p1-a-3-eval-bridge.py、apparent/real gap の dB 内訳を確定

9. P1.A.4 設計 (A.3 結果に応じて実装)

• 方針: splat-rs eval を brush 準拠に統一、ただし config flag で旧 convention も保持 (backward compat、論文比較で両方使えるように)
• flag: [eval] convention = "brush" (default) or "legacy_splat"、split = "test" (default) or "val"
• 実装変更点: (i) train.rs:115 split path 設定可能化、(ii) train.rs:182 compute_psnr を brush 準拠 path 追加、(iii) load_rgba_white_bg と並行で load_rgba_premultiplied 追加、(iv) eval 時 rendered に bg 合成オプション追加
• 影響範囲: training には影響しない (eval のみ)、result.toml の PSNR 列が convention 名 suffix 付きで出力されるよう拡張

10. file:line index (両 audit から)

11. Phase A の残作業 (loop iteration template に従う)

1. P1.A.3: reproducer script (Python) で 8 通り convention combination の PSNR 実測 — subagent worktree 候補
2. P1.A.4: splat-rs eval を brush 準拠に統一、config flag 化 — foreground 小 change
3. P1.M1 finding doc 更新: A.3 実測値で apparent/real gap dB 内訳確定後、本 doc に "実測 column" 追加
4. plan-gap.vue 反映: P1.A.1/A.2 → done mark、A.3/A.4 を wip 更新、M1 gate → pass 表示

12. 卒論への含意 (D.3 negative-findings-chapter or methodology)

• eval convention の選択は trainer 比較の前提: PSNR の絶対値は formula が同じでも入力画像作成 (bg composite, premultiply, split) で ±5 dB 変動、論文間比較は注意
• premultiplied-α + bg=ZERO の brush 流は orig 3DGS / Mip-NeRF 系で標準的、本実装の white-bg compose 流は orig 3DGS 直伝 (test convention) ではあるが、近年 brush 系で異なる
• 本実装の eval を brush 準拠に統一することで論文間比較が apples-to-apples に近づく、卒論の central evaluation table は brush 準拠 convention で報告すべき
• training-eval inconsistency (training α 含む 4ch / eval RGB only) は本実装に固有のバグ寄り、修正により convergence 効率が改善する可能性 (二次効果、P1.D 周辺で検証)

関連

• P1.A.1 brush eval audit (本 doc の brush 側 source): p1-a-1-brush-eval-audit
• P1.A.2 splat-rs eval audit (本 doc の splat 側 source): p1-a-2-splat-eval-audit
• 既存 brush vs splat 37 dB gap analysis (gap-analysis.md): brush-vs-splat-37dB-gap-analysis
• brush bench 実測値: m4-brush-bench
• NeRF Synthetic multi-scene results (8 scene complete): a-4-nerf-synthetic-scene-results
• Phase A 後続: p1-a-3-cross-eval-reproducer (未作成、A.3 で生成予定)

• mixedA.4 NeRF Synthetic 他シーン展開 — 8 シーン complete 30k 結果2026-05-24
• neutralP1.A.1 brush eval audit — 数式定式化 + diff 観点 12 項目2026-05-24
• neutralP1.A.2 splat-rs eval audit — val split 100view・α 除外・rendered 黒背景の RGB-only PSNR2026-05-24
• mixedM4 Max 上 brush (wgpu→Metal) の 30k baseline — wgpu 抽象は自作より速かった2026-05-23