실력 검증 기능 개발

본 장은 제 5 장에서 확정된 참여자의 실력을 어떻게 수치로 두고, 그 수치를 어떻게 믿을 만한 값으로 만드는지 다룬다.

문제의 출발점은 실력 정보의 출처가 본인이라는 데 있다. 자기 신고만으로 만든 스탯은 과장되기 쉽고, 과장된 스탯이 매칭에 그대로 쓰이면 경기 수준이 무너져 구인 기능 자체의 신뢰가 함께 무너진다. 본 사업은 이 문제를 경기 영상이라는 물증으로 푼다. 실력 정보는 사람의 말이 아니라 색인된 장면에서 나오고, 모든 판정에는 근거 장면이 붙는다.

1) 스탯 체계 설계

스탯 항목

스탯은 종목 공통 항목과 포지션 항목으로 나눈다. 공통 항목은 어떤 포지션이든 비교 가능하게 두고, 포지션 항목은 해당 포지션을 지원할 때만 매칭에 반영한다.

구분	항목	매칭 반영
공통	활동량, 스피드, 경기 이해도, 매너	항상
포지션	〔확인 필요: 종목별 포지션 항목 확정〕	해당 포지션 지원 시

항목은 영상에서 관측 가능한 것으로 한정한다. 관측할 수 없는 항목을 두면 결국 자기 신고나 인상으로 채워지고, 그 순간 근거 기반이라는 전제가 깨진다. 매너처럼 관측이 어려운 항목은 영상 근거 대신 참여 이력(노쇼·지각)으로 산출하고, 산출 출처를 항목마다 명시한다.

표기 방식

스탯은 내부적으로 수치로 관리하고, 화면에는 등급 구간으로 표시한다. 수치를 그대로 노출하면 1~2점 차이를 실력 차로 받아들여 분쟁이 생기는데, 그 정도 차이는 표본이 적을 때 의미가 없다. 〔확인 필요: 등급 구간 수와 경계값〕

초기값과 갱신

신규 이용자의 스탯은 자기 신고값으로 시작하되 미검증 상태로 둔다. 미검증 스탯은 화면에서 잠정값으로 구분해 표시하고, 매칭 순위에서도 검증된 스탯보다 뒤로 밀린다.

갱신은 경기 영상의 색인이 끝난 뒤 아래 규칙을 따른다.

한 경기로 움직일 수 있는 변동 폭에 상한을 둔다. 한 번의 부진이나 활약이 스탯을 뒤집으면 값이 요동쳐 매칭에 쓸 수 없다.
최근 경기에 더 큰 가중을 준다. 〔확인 필요: 가중 감쇠 기간〕
인물 식별 신뢰도가 임계 미만인 장면은 산출에서 제외한다. (제 4 장)
표본이 임계치에 못 미치는 동안에는 미검증 상태를 유지한다.

2) RAG 기반 검증

검증을 검색 문제로 둔 이유

“이 선수는 수비가 좋다”는 주장을 모델에게 직접 물으면, 모델은 그럴듯한 답을 만들어 낸다. 근거가 없어도 답이 나오고, 그 답이 왜 나왔는지 확인할 방법이 없다.

본 사업은 이 판단을 검색 후 판정으로 바꾼다. 주장이 들어오면 먼저 색인된 장면에서 관련 근거를 검색하고, 검색된 장면 안에서만 판정한다. 근거를 찾지 못하면 판정하지 않는다. 이 구조에서는 모든 판정에 출처가 남고, 사용자가 그 장면을 직접 확인할 수 있다.

검증 절차

검증 대상 주장을 받는다 — 스탯 갱신 요청, 자기 신고 실력, 이용자의 이의 제기.
주장을 검색 질의로 바꾼다.
색인에서 관련 장면 상위 N건을 검색한다.
검증 에이전트가 검색된 장면만으로 판정하고, 판정마다 근거 장면 식별자를 반환한다.
서버가 근거 식별자를 확인한다. 근거가 비어 있으면 반영하지 않는다.
판정 결과와 근거를 함께 저장한다.

색인 구성

검색이 성립하려면 색인이 검색 가능한 형태여야 한다. 제 4 장의 영상 분석 에이전트가 만드는 장면 단위 색인에 아래를 함께 저장한다.

항목	용도
상황 요약	의미 기반 검색의 대상
플레이 이벤트	항목·조건 기반 필터링
인물과 식별 신뢰도	대상자 한정, 저신뢰 장면 배제
경기·시각	근거 제시와 재생 위치

검색 성능 목표

검증의 품질은 판정 능력 이전에 근거를 찾아내는 능력에 달려 있다. 관련 장면이 검색되지 않으면 판정 자체가 성립하지 않기 때문이다. 따라서 검색 성능을 별도 지표로 두고 측정한다.

지표	정의	목표
Hit Rate	검증 요청 중 유효한 근거 장면을 찾아낸 비율	90%
Recall@5	정답 근거가 상위 5건 안에 포함된 비율	90%

측정 방법과 결과는 제 7 장에 기록한다. 〔확인 필요: 정답 근거 집합 구축 방식〕

보조 신호

영상만으로 채워지지 않는 부분이 있다. 영상이 없는 경기, 식별이 어려운 장면, 매너처럼 관측 대상이 아닌 항목이 그렇다. 이 경우 참여 이력과 상대 팀의 평가를 보조 신호로 쓰되, 영상 근거와 같은 무게로 다루지 않는다. 보조 신호만으로 만들어진 스탯은 검증된 값으로 표시하지 않는다.

같은 팀 동료의 평가는 보조 신호로도 쓰지 않는다. 함께 부르고 함께 뛰는 관계에서는 평가가 후해지고, 반복되면 서로의 스탯을 올려 주는 담합이 성립한다.

3) 신뢰도 지표 산출

산출 요소

신뢰도는 스탯이 얼마나 근거에 뒷받침되는지를 나타내는 별도 값이다. 실력이 높다는 뜻이 아니라 표시된 실력을 믿을 만하다는 뜻이며, 둘을 섞지 않도록 화면에서도 분리해 표시한다.

요소	방향	근거
근거 장면 수	많을수록 높음	표본 크기
인물 식별 신뢰도	높을수록 높음	근거가 본인의 것임이 분명한가
경기 다양성	넓을수록 높음	한 경기에 몰린 근거는 대표성이 낮다
최근성	최근일수록 높음	오래된 근거는 현재 실력을 보장하지 않는다

〔확인 필요: 요소별 가중치와 산출식〕 산출식은 시험을 거쳐 확정하고 결과를 제 7 장에 기록한다.

표시 등급

등급	조건	화면 표기
미검증	근거 장면 없음	잠정값으로 표시
검증중	최소 표본 미달	근거 수 함께 표시
검증됨	최소 표본 충족	스탯을 확정값으로 표시하고 근거 장면을 연결

〔확인 필요: 최소 표본 기준〕

낮은 신뢰도를 배제하지 않는 이유

신뢰도가 낮은 이용자를 매칭에서 제외하면 영상이 쌓일 기회 자체가 없어져 신규 유입이 영구히 미검증에 머문다. 따라서 신뢰도는 순위 요소로만 반영하고, 배제 기준으로는 쓰지 않는다. 운영자에게는 후보의 신뢰도 등급과 근거 장면을 함께 보여 판단에 맡긴다.