P1.A.3 cross-eval reproducer — brush convention で 24.879 → 1.67 dB に崩壊、主仮説 falsify

P1.A.4 (eval を brush 準拠 convention で再計算する CLI flag) を splat eval subcommand として実装し、P1.A.3 reproducer として splat-rs lego-sh3-30k/final.ply を 4 通り (legacy/brush × quantize on/off) で再評価。audit §6 の "brush 流で +3〜+5 dB" 主仮説は完全に falsify、代わりに training-eval convention が coupling している という、より重要な構造的発見が得られた。M1 gate (eval convention 統一確定 + 数式 diff 定量化) は 実測値で完全 closure。

1. 4 通り eval 実測 table

2. audit §6 主仮説の falsification table

3. 真因: training/eval convention の coupling

4. 機構の目視確認

• splat/runs/lego-sh3-30k/view_00.png (forward_rgba output 直書き、白背景に lego モデル) → trainer 出力は 背景が白い不透明領域、premultiplied 出力なら背景は透明 RGB=0 のはずだが、white-bg loss で fit された結果 opaque-white splat が背景を埋めている
• gt_00.png (load_rgba_white_bg で white-bg composite 済み target) → 同じ白背景、これが loss target、両者は legacy convention 下で 30.36 dB と密接にマッチ
• brush convention の per-view PSNR を見ると 全 view で 1.6 dB 帯に systematic に集中 (max 2.84, min -0.62, median 1.65) → noise でなく structural mismatch、原因が "前景 fit" でなく "背景 mismatch" であることを示唆
• rendered の clamp 範囲 (`min < -0.6` view あり) → premultiplied 期待では rendered ∈ [0, α] のはずが overshoot あり、bg-as-opaque-white の training pressure で SH coefficient が saturate していることを示唆

5. brush convention で test split が測れなかった件

/Users/otkrickey/dev/3dgs-workspace/datasets/nerf_synthetic/lego/test/ には r_*.png が 36 frame しか無く、transforms_test.json は 200 frame を参照 (差分は normal/depth aux PNG)。**dataset の RGB test split が不完全**。後続 task (P1.A.3 followup or P1.B) で nerf_synthetic.zip の test 部分を再 DL するか、別 dataset (m4-brush-bench に存在する場合) を使う必要あり。今回 val (100 view) で M1 gate を締めるのに impact 無し (主仮説 falsify には val 1 set で十分)。

6. P1.A.4 実装内容 (本 task で実装した部分)

1. splat/crates/splat-io/src/dataset.rs — GtConvention { WhiteBg, Premultiplied } enum + load_nerf_synthetic_with_convention(dir, split, convention) wrapper + load_rgba_premultiplied 関数 (byte 空間 premultiply、brush scene.rs:212-232 AlphaMode::Transparent と同等)
2. splat/crates/splat-cli/src/cmd/eval.rs (新規) — splat eval --ply --dataset --split --convention --quantize-8bit subcommand、既存 trained PLY を再評価。training は触らない (config 拡張も避け、CLI flag 経路で完結)
3. splat/crates/splat-cli/src/main.rs, cmd/mod.rs — subcommand wire
4. 既存 compute_psnr (train.rs:182) は 未変更、新 compute_psnr_legacy + compute_psnr_brush を eval.rs に複製 (training 内部の loss path への影響ゼロを保証)
5. FullConfig schema 変更なし、既存 configs/*.toml は無変更で動作 (deny_unknown_fields も触らない)

7. apparent gap 仮説 falsify の意味 (audit doc §6 update 材料)

• audit §6 table の "推定 dB shift" 列は 実測 column を追加して update すべき (D2: -23 dB / D4: +0.06 dB / 合計: -23 dB)
• audit §6 footer の "主仮説: -3〜-6 dB apparent gap が消える" は 取り消し、新仮説: "brush parity には training loss convention も brush 化が必要、eval だけでは不可能"
• audit §11 (Phase A の残作業) の P1.A.4 は 本 task で完了、ただし "brush 準拠 eval が default で意味を持つ" には trainer の brush 化が前提なので、しばらく config flag (CLI flag) として保持し default=legacy 維持が妥当
• audit §12 (卒論への含意) は補強される: "eval convention の選択は trainer 設計と coupling する" を D.3 negative-findings-chapter の中核トピック として書ける材料が揃った

8. 次 phase への申し送り (P1.B 互換 config 起草へ)

1. P1.B trainer 改修: train loop の loss を brush 流 (RGBA 4ch、target は premultiplied GT、α channel に match_alpha=0.1 weight) に切り替える設計を起草。load_rgba_white_bg → load_rgba_premultiplied を train 経路でも選択可能化、loss kernel (`splat/shaders/loss/loss.metal`) が premultiplied 4ch を受け取れることを確認 (既存 4ch path を活用)
2. P1.A.3 followup (任意): NeRF Synthetic test split (200 view) を再 DL し、legacy/val baseline と test/val 差を独立に測る。これで D1 (split) の独立 impact が確定し、audit §6 row が完全更新できる
3. P1.M1 gate update: 本 finding で gate closure。audit §6 table を実測値で update、status を "audit-complete" → "audit-complete-hypothesis-revised" に変更
4. plan-gap.vue: P1.A.3 / P1.A.4 → done mark、主仮説 falsify を明記、M2 (brush loss 化) を新 critical path として上位に

9. 再現手順 (artifacts なし、source / dataset から完全再現可能)

# build
cd splat
cargo build --release -p splat-cli

# 4 通り sweep (test 2 通りは dataset 不完全のため skip)
PLY=runs/lego-sh3-30k/final.ply
DS=/Users/otkrickey/dev/3dgs-workspace/datasets/nerf_synthetic/lego

# 1: legacy/val/no-quant (sanity check vs result.toml の 24.879)
./target/release/splat eval --ply $PLY --dataset $DS --split val --convention legacy
# → 24.8787

# 2: legacy/val/quant (8-bit impact 単体)
./target/release/splat eval --ply $PLY --dataset $DS --split val --convention legacy --quantize-8bit
# → 24.8787

# 3: brush/val/no-quant (premultiplied 単体 impact)
./target/release/splat eval --ply $PLY --dataset $DS --split val --convention brush
# → 1.6049

# 4: brush/val/quant (完全 brush 準拠)
./target/release/splat eval --ply $PLY --dataset $DS --split val --convention brush --quantize-8bit
# → 1.6665

10. 不明点 / 未確認事項 (main agent 判断用)

• brush trainer 37.40 dB は brush convention で測られているはず だが、brush 側で legacy convention に揃えたとき何 dB 出るか未確認 (brush trainer の training-eval は両方 premultiplied なので、convention 切り替え可能か仕組み確認要)
• test split RGB PNG 完全版の再 DL (NeRF Synthetic 公式) — 1.x GB 程度、後続 task or P1.B 着手時に必要
• rendered overshoot (min PSNR view で -0.6 dB) は SH の saturate を示唆、debug すれば trainer の "opaque-white 背景埋め" 戦略の構造詳細が見える (本 task は scope 外)
• brush mean PSNR 1.667 dB の理論値: 背景 50% 完全 mismatch + 前景 30 dB なら image MSE = 0.5·1.0 + 0.5·0.001 ≈ 0.5005 → PSNR ≈ 3.01 dB のはずだが実測 1.67 dB と差 1.3 dB。前景の SH saturate (overshoot で MSE > 0.001) と背景比率が 50% でなく ~60-70% である可能性。impact 小なので scope 外

関連

• P1.A audit master finding: p1-a-eval-convention-audit (本 doc が §6 main hypothesis を falsify)
• P1.A.1 brush eval audit: p1-a-1-brush-eval-audit
• P1.A.2 splat-rs eval audit: p1-a-2-splat-eval-audit
• brush vs splat 37 dB gap analysis: brush-vs-splat-37dB-gap-analysis
• P1.M3 生命線 (Lego 30k で PSNR > 30 dB): legacy convention 下で 24.879 dB → +5.1 dB 不足、brush convention では遥かに遠い

• neutralP1.A.1 brush eval audit — 数式定式化 + diff 観点 12 項目2026-05-24
• neutralP1.A.2 splat-rs eval audit — val split 100view・α 除外・rendered 黒背景の RGB-only PSNR2026-05-24
• neutralP1.A eval convention audit (統合) — 7 軸の diff 確定、apparent gap 推定 -3〜-6 dB2026-05-24