관문 성능 실물 비교 · 배선된 값은 전부 같은 시험지 실측
세 판이 완전히 같은 블록 순서를 받고, 매 수마다 같은 제안과 같은 잡음을 받습니다(짝지어 비교). 관문은 그냥 둘지 다시 뽑을지만 판정합니다. 세 관문 모두 같은 규칙으로 문턱을 정하고, 지연은 같은 자리에서 왕복으로 잰 값입니다. 판을 가르는 것은 판정 정확도입니다.
이 판에 배선된 ZTC 값은 ZTC-Judge-27B 의 실측입니다 — AUC 0.7289 · 보정오차 0.0245 · 관문 왕복 0.636초.
아래 숫자만 배선했습니다. 판의 결과는 이 숫자에서 계산되어 나오는 것이지, 미리 정해두지 않았습니다.
| 항목 | Laya | JEV | ZTC | 출처 |
|---|---|---|---|---|
| 판정 정확도 (AUC) | 0.4904 | 0.7350 | 0.7289 | JEV·ZTC: 9팀 2,018문항 LODO 2026-09-21 정정판 · Laya: 같은 2,018문항 정정판(루트 체크포인트) |
| 보정오차 (표에만 · 판에는 안 씀) 0.8이라 하면 정말 80%인가 |
0.4985 | 0.0381 | 0.0245 | 같은 2,018문항 · Laya-Multilingual |
| 관문 1회 비용 | 0.015 s | 0.591 s | 0.636 s | JEV·ZTC=같은 자리 왕복 실측(1팀 45건·9팀 30건 중앙값) · Laya=자체 GPU |
| 다시 뽑으면 나쁜 수가 좋아질 확률 | 38% | 9팀 단발 재시도 실측 | ||
| 다시 뽑으면 좋은 수가 나빠질 확률 | 30% | |||
| 겉모습 기준선 (관문 없음) | 0.6223 | 같은 자로 다시 잰 값 (옛 0.7036은 폐기) | ||
정확도는 JEV와 동률입니다. JEV 0.7350 · ZTC 0.7289 — 차이의 95% 구간 [−0.034, +0.020]이 0을 포함합니다. 처음 보는 모델(Claude Haiku 4.5)이 쓴 답에서는 ZTC-Judge-27B v2 0.7752 · JEV 0.7521입니다.
문턱은 세 관문 모두 같은 규칙입니다. 점수를 보류 구간에서 확률로 다시 맞춘 뒤, 다시 뽑는 게 이득일 때만(좋은 수일 확률 < 0.56) 다시 뽑습니다. 이렇게 자르면 단조 보정오차의 비용은 0이라 이 판에서 보정 축은 차이를 만들지 않습니다. 보정오차는 원점수에 문턱을 바로 거는 운영에서만 문제가 되므로 표에만 싣습니다.
왜 헛호출이 핵심인가. 나쁜 수를 다시 뽑으면 38%만 좋아지는데, 좋은 수를 다시 뽑으면 30%가 망가집니다. 관문의 값어치는 “나쁜 걸 잘 잡느냐”가 아니라 “좋은 걸 안 건드리느냐”로 정해집니다.
결과 — 1,000판 짝비교, 지운 줄 차이 [95% 구간]. 같은 60초: ZTC − JEV −0.07 [−0.14, +0.01] — 동률 · ZTC − Laya +1.03 [0.79, 1.26] · ZTC − 관문 없음 +1.37 [1.16, 1.59]. JEV와 같은 판을 쌓으면서 글자는 한 자도 생성하지 않고, 망 밖으로 나가지 않습니다.
측정 조건. 지연은 같은 자리에서 왕복으로 잰 값입니다 — JEV 0.591초 · ZTC 0.636초(이전 판의 JEV 2.1초는 이 값으로 대체). Laya는 정정 시험지에서 AUC 0.4904(루트 체크포인트)이며, 이 값에서는 늘 다시 뽑는 것과 같습니다(기준 팔). Laya 0.015초는 자체 GPU 값입니다. 제안 띠는 관문 품질이 판에 드러나도록 고른 값입니다 — 완벽한 관문 8.6줄 · 관문 없음 4.6줄. 첫 제안이 좋을 확률은 다시 뽑은 제안과 같은 0.559입니다. 이 판은 실측 상수로 돌리는 모의입니다.