P1.A.2 splat-rs eval audit — val split 100view・α 除外・rendered 黒背景の RGB-only PSNR

splat-rs (自作 trainer) と brush (37.40 dB) の lego sh3 30k での 12.56 dB gap の真因 audit のため、splat-rs 側 eval (PSNR 計算) の数式・dataset 範囲・前処理を file:line 単位で定式化する。並行で P1.A.1 が brush 側を audit 中、本 doc はそれと diff を取って P1.A.3 reproducer script で convention-diff 部分の apparent gap を分離するための入力データを提供する。

実施日

2026-05-24 P1 brush parity loop

audit 対象

splat-cli/src/cmd/train.rs::compute_psnr + 周辺 (eval pipeline 全体)

binary

main HEAD (lego sh3 30k で 24.879 dB を出す stamp)

確認 grep

PSNR/eval 計算は train.rs L182 の 1 箇所のみ (render.rs / check.rs / splat-summary には別 PSNR 経路なし)

1. PSNR の数式定式化

splat-rs の PSNR は splat-cli/src/cmd/train.rs:182-200 fn compute_psnr で定義される唯一の経路。数式は以下のとおり:

MSE = (1 / (3·H·W)) · Σ_{p ∈ pixels} Σ_{c ∈ {R,G,B}} (rendered[p,c] − target[p,c])²
PSNR = -10 · log10(MSE)        [α channel は和から除外、MAX = 1.0]

  if MSE <= 1e-12: return 100.0    # 飽和カットオフ

入力:
  rendered : Vec<f32> 長さ H·W·4  (chunks(4) で per-pixel RGBA、α 列 = 1 - T)
  target   : Vec<f32> 長さ H·W·4  (chunks(4) で per-pixel RGBA、α 列 = 1.0 固定)

実装: train.rs:187-194
  for chunk in rendered.chunks(4).zip(target.chunks(4)):
      for c in 0..3:           # ← α channel index 3 は除外
          diff = (r[c] - t[c]) as f64
          sum_sq += diff * diff
          count  += 1
  mse = sum_sq / count          # count = pixels · 3

• MAX = 1.0 固定 ([0,1] 線形 RGB 前提)、255 系ではない
• α 除外 (chunk[3] は MSE 和に入らない、target α = 1.0 固定)
• per-pixel 平均 (per-channel 平均ではない、Σ÷count で count = 3·H·W)
• clamp なし (raw f32 をそのまま使う、shader comment が「< 0 や > 1 を許可」と明記)
• quantize なし (u8 化 → 戻し をしない、brush 標準は通常 u8 quant 後)
• per-view PSNR の mean (mean-PSNR、PSNR-of-mean-MSE ではない、train.rs:147-149)
• MSE ≤ 1e-12 で PSNR = 100 dB に飽和 (lossless 時の log10(0) 回避)

2. eval が見る画像 — rendered の作られ方

train.rs:130 trainer.forward_rgba(¶m, cam, img_size) 経由で shaders/forward/rasterize.metal::render_splats_f32 が動く。compositing 数式は brush/rasterize.wgsl と同一の volumetric front-to-back:

per-pixel state: pix_out = float3(0.0)、T = 1.0
per-splat:
  sigma = 0.5·(conic_x·dx² + conic_z·dy²) + conic_y·dx·dy
  alpha = min(0.999, color.a · exp(-sigma))
  if alpha < 1/255: skip
  next_T = T · (1 - alpha)
  if next_T <= 1e-4: break               # early termination (T 飽和)
  pix_out += rgb · (alpha · T)
  T = next_T

最終出力 (rasterize.metal:215):
  out[idx] = float4(pix_out,  1.0 - T)   # α channel = foreground occupancy

3. eval が見る画像 — target の作られ方

splat-io/src/dataset.rs:140-166 fn load_rgba_white_bg:

for px in PNG.pixels():                    # 8-bit RGBA を [0,1] 正規化
    r, g, b, a = px / 255.0
    # 白背景 α blend: 真の white-bg composite
    rgb_out = rgb · α + (1 - α) · 1
    α_out   = 1.0                          # 出力 α は常に 1 (mask 情報は捨てる)

target は H·W·4 RGBA、値域 [0, 1]、α channel = 1.0 固定。

• 前景の α-mask 情報は 捨てられる (α_out = 1.0 hardcode、L163)
• つまり brush の image *= alpha_mask 風 eval (前景のみ評価) は構造的に不可能
• linear RGB / sRGB 区別なし (PNG を単純に 255 で割る、gamma curve 補正なし)
• tonemap なし、HDR clip なし

4. dataset split — どの json を eval に使うか

train.rs:115 val_path = cfg.data.dataset_path.join("transforms_val.json")。val split (100 view) を eval に使用。NeRF Synthetic は train/val/test = 100/100/200 の 3 split。brush と original 3DGS は test split (200 view) で報告するのが標準。これは apples-to-oranges の最大候補で、camera 分布が異なるため絶対 PSNR が違う。

5. 画像前処理 (eval 時) — diff の温床

6. training loss との関係 (内部 consistency)

Training loss は shaders/loss/loss.metal::loss_l1_only および loss_l1_combine_ssim。重要点は n_total = W·H·4 で α channel を含めて L1 loss を取ること:

loss_metal::n_total = W · H · 4         # ← 4 channel すべて
dldr[gid] = sign(r - t) / n_total       # all 4 channels
loss_sum = Σ |r[gid] - t[gid]|          # all 4 channels

• training は α channel を loss に含める。target α=1.0 vs rendered α=1-T で diff |T| が常に loss に効く
• 結果として、splat 群は背景 pixel で T → 0 (= 完全 occupancy) になるように pressure を受ける
• rendered.rgb が黒のまま T → 0 になると pix_out = Σ α_i T_i c_i → 1 (白) になる学習が暗黙に進行 — つまり background 領域は「白の splat を生やす」方向に学ぶ
• ただし完全 convergence には至らないため、background 領域での MSE は完全には消えない (eval 時に apparent gap として現れる)
• eval は RGB のみ (α 除外)、training は α 含む — 内部 inconsistency

7. brush との diff 候補 (P1.A.3 reproducer 設計用)

P1.A.3 で「同じ trained ply / camera から、convention を 1 つずつ揃えていって brush に近づける」reproducer を組むときに切り分けるべき軸を、潜在 impact 順 (確信度高い順) に列挙する:

8. 現状 splat-rs eval が brush 準拠でない可能性が高い箇所 (疑い順)

• (最強疑い) D1: val vs test split — train.rs:115 が transforms_val.json を hardcode、brush は transforms_test.json。100 view ≠ 200 view で camera 分布も違うため、apples-to-oranges。これだけで absolute PSNR の起点が違う可能性。
• (強い疑い) D2: rendered に bg を合成していない — rasterize.metal:215 が float4(pix_out, 1-T) で終わる。brush では rendered 側も同じ white-bg composite を行う実装が多い (training/eval の対称性を保つため)。training の不完全 convergence 分が background 残差として eval MSE を膨らませる可能性。
• (中程度) D3: α-mask 適用なし — splat-rs eval は前景マスクなし、brush は image *= alpha_mask で前景のみ eval する path を持つ (gap doc 推定)。前景のみで PSNR を取ると背景の MSE 不一致がキャンセルされ +3 dB 級の上振れがあり得る。
• (弱い疑い) D4: clamp / quantize 欠如 — render_splats_f32 の comment に「< 0 や > 1 を許可 (debug 用)」とある。eval で raw f32 を MSE に入れると overshoot が二乗で増幅される。brush 標準は通常 u8 quant 後の MSE。
• (neutral) D5: PSNR formula 自体 — RGB only / MAX=1 / per-pixel mean / view mean — orig 3DGS 標準と同じはず、ただし P1.A.1 で brush 側数式を確認するまでは 100% 同等とは断定不可。
• (構造的) D6 training-eval inconsistency — training loss は α 含む 4ch、eval は RGB のみ。training は「α=1.0 にせよ」と loss を流すが eval は α を見ない。α channel に費やされる gradient 分が RGB 改善のための gradient と competing し、convergence を遅らせる可能性 (gap への寄与は二次的、しかし潜在的)。

9. P1.A.3 reproducer に持ち込むべき file:line

10. 不明点 (P1.A.1 brush 側 audit 結果との突合で確定)

• brush の test split file 名・view 数の確認 (transforms_test.json で 200 view?)
• brush の rendered output が background 合成済みか否か (training loss / eval 共通で同じ canvas を使うか)
• brush eval が clamp / u8 quant を入れるか (raw f32 MSE か u8 MSE か)
• brush eval が α-mask gating を本当にやっているか (gap doc は「推定」止まり、ソース確認必要)
• brush の PSNR formula が MAX=1 か MAX=255 か (前者なら同じ、後者なら +48 dB の系統差で gap が逆向きに反転する罠)
• brush は per-view mean か per-view MSE → 全体 MSE → 1 回 PSNR か (前者と後者で値が違う、splat-rs は前者)
• brush eval が sRGB → linear に変換するか (target / rendered 両方 linear なら不問)

11. P1.A.3 reproducer に必要な最小資材リスト

• 同一 trained ply (splat-rs lego sh3 30k final.ply、必要に応じて brush 30k final も)
• NeRF Synthetic lego dataset の transforms_val.json と transforms_test.json (両方欠かさず)
• 切り分け 7 軸を ON/OFF できる小さい python or rust script (PIL/numpy で十分): (i) bg composite render side、(ii) clamp [0,1]、(iii) u8 quant、(iv) α-mask 適用、(v) split 切替、(vi) MAX=1 vs 255、(vii) per-view mean vs aggregate MSE
• brush 側 eval を C 経由で叩く方法 または brush の rendered output を PNG dump して同じ script に流す方法 (どちらかでも diff 切り分け可能)

関連

• P1.A.1 brush eval audit (並走中、本 doc と diff する): 起草中
• P1.A.3 reproducer script (本 doc + P1.A.1 を入力): 未着手
• brush vs splat 37 dB gap 既存分析: brush-vs-splat-37dB-gap-analysis
• c32 orig 3DGS eval convention 注意点: c32-orig3dgs-bench
• lego sh3 30k 自作 trainer 24.879 dB の root run: a-4-nerf-synthetic-scene-results

この finding が観測された / 言及している実験 run。

• lego-sh3-30kA.8 SH degree ablation — sh_degree=3 (DC only, no view-dependence)PSNR 24.88 dBWallclock 23m 13sverdict partial

• mixedA.4 NeRF Synthetic 他シーン展開 — 8 シーン complete 30k 結果2026-05-24
• mixedc32 V100 原著 3DGS 30k bench — A.5 三層対比表の最終 row & eval convention 乖離 finding2026-05-23