시험 및 검증 결과

본 장은 시험 항목과 판정 기준을 먼저 확정하고, 수행 결과를 그 형식에 채우는 방식으로 작성한다. 항목을 먼저 고정하는 이유는 구현을 마친 뒤에 기준을 정하면 통과하기 쉬운 기준으로 기울기 때문이다.

시험은 아직 수행하지 않았다. 아래 결과표는 골격이며, 결과 항목은 시험 수행 후 기록한다.

1) 시험 환경 및 항목

시험 환경

항목	내용
대상 환경	〔확인 필요: 시험 서버 사양과 배포 형태〕
클라이언트	〔확인 필요: 시험 대상 단말과 브라우저〕
모델	제 4 장에서 선정한 모델과 설정
시험 데이터	아래 ‘시험 데이터’ 참조
수행 기간	〔확인 필요〕
수행자	〔확인 필요〕

기능 시험 항목

각 항목은 제 2 장의 기능 요구사항에 대응한다. 요구사항 하나가 시험 항목 없이 남지 않도록 대응 관계를 명시한다.

ID	대상	시험 내용	판정 기준
TC-11	FR-11	필수 항목을 갖춘 공고 등록	공고가 `모집중` 상태로 공개된다
TC-12	FR-11	유효성 규칙 위반 공고 등록	등록이 거부되고 사유가 반환된다
TC-13	FR-12	마감 시각 도달	상태가 `마감`으로 전이된다
TC-14	FR-12	클라이언트의 상태 직접 변경 시도	거부된다
TC-15	FR-13	조건에 맞는 공고 조회·알림	조건에 맞는 공고만 노출된다
TC-21	FR-21	동일 공고 중복 지원	거부된다
TC-22	FR-21	확정된 경기와 시간이 겹치는 지원	거부된다
TC-23	FR-22	후보 열람 시 매칭 호출	순위와 근거가 반환된다
TC-24	FR-22	매칭 응답 형식 검증	스키마를 벗어난 응답은 반영되지 않는다
TC-25	FR-23	조건 충족 후보가 모집 인원 미만	완화가 적용되고 완화 항목이 표시된다
TC-26	FR-24	참여자 확정	확정·미선정 알림이 각각 발송된다
TC-27	FR-24	확정자 취소	다음 순위가 대기자로 승격된다
TC-31	FR-31	종료 경기의 기록 입력	기록이 저장되고 영상 업로드가 요청된다
TC-32	FR-32	경기 영상 업로드	색인이 비동기로 시작되고 진행 상태가 표시된다
TC-33	FR-32	식별 신뢰도가 임계 미만인 장면	색인은 되나 스탯 산출에서 제외된다
TC-34	FR-33	근거 검색 후 판정	판정에 근거 장면 식별자가 함께 반환된다
TC-35	FR-33	근거가 검색되지 않는 주장	`판정 불가`가 반환되고 스탯에 반영되지 않는다
TC-36	FR-34	스탯 갱신	변동 폭 상한을 넘지 않는다
TC-37	FR-34	스탯 변동 이력	변동마다 근거 장면과 검증 결과가 남는다
TC-38	FR-35	신뢰도 산출과 등급 표시	표본 미달 시 `검증중`으로 표시된다
TC-41	FR-41	사전 취소·지각 취소·노쇼	구분되어 집계된다
TC-42	FR-42	이의 제기 접수	접수되고 처리 경로가 동작한다

비기능 시험 항목

ID	대상	측정 방법	목표
NT-01	NFR-01	후보 목록 요청부터 순위 표시까지의 소요 시간	〔확인 필요〕
NT-02	NFR-02	추천 상위 후보가 실제 확정으로 이어진 비율	〔확인 필요〕
NT-03	NFR-03	정답 근거 집합에 대한 Hit Rate / Recall@5 측정	90% / 90%
NT-04	NFR-04	단일 경기로 인한 스탯 변동 폭	상한 이내
NT-05	NFR-05	신규 종목의 스탯 항목·플레이 이벤트 정의 후 동작 확인	코드 변경·배포 없이 동작한다
NT-06	NFR-06	좌표 저장 단위와 영상 촬영 동의 확인 경로 점검	구장 단위 저장, 동의 없는 영상 미색인
NT-07	NFR-07	경기 1건당 에이전트 호출 비용 실측(분석 프레임 포함)	〔확인 필요〕
NT-08	NFR-08	영상 업로드부터 색인 완료까지 소요 시간	〔확인 필요〕

시험 데이터

매칭과 검증은 데이터가 쌓여야 동작을 확인할 수 있다. 계정 몇 개로는 순위 산출도 신뢰도 산출도 의미 있는 값이 나오지 않는다. 따라서 시험 전에 아래를 준비한다.

종목·포지션·실력대가 분포된 이용자 표본
종료 상태까지 진행된 과거 경기와 그 경기 영상
검색 성능 측정을 위한 정답 근거 집합 — 어떤 주장에 어떤 장면이 근거인지 사람이 미리 표시해 둔 자료
검증이 누적된 계정과 미검증 계정이 섞인 구성

〔확인 필요: 표본 규모와 생성 방식〕 실제 이용 데이터를 쓸 수 없는 단계이므로 생성 데이터를 사용하며, 생성 방식과 한계를 결과와 함께 기록한다.

2) 시험 결과

판정 구분

구분	정의
통과	판정 기준을 그대로 만족한다
부분 통과	주요 동작은 만족하나 일부 조건에서 기준에 미치지 못한다
실패	판정 기준을 만족하지 못한다
미실시	선행 기능 미구현 등으로 수행하지 못했다

부분 통과와 실패는 반드시 3절에 이슈로 기록한다.

기능 시험 결과

시험 수행 후 기록한다.

ID	판정	비고
TC-11 ~ TC-42	—	—

비기능 측정 결과

시험 수행 후 기록한다.

ID	측정값	목표 대비	비고
NT-01 ~ NT-08	—	—	—

에이전트를 거치는 항목(NT-01, NT-02, NT-03, NT-07, NT-08)은 측정값과 함께 측정 시점의 모델과 설정을 기록한다. 모델이나 설정이 바뀌면 값이 달라져 비교가 성립하지 않기 때문이다.

3) 발견 이슈 및 조치

기록 양식

시험 수행 후 기록한다.

ID	관련 항목	증상	원인	조치	재시험 결과
—	—	—	—	—	—

원인 칸에는 증상이 아니라 원인을 적는다. 증상만 남기면 같은 이슈가 다시 나왔을 때 이전 조치를 참고할 수 없다.

미해결 사항

조치하지 못한 항목은 숨기지 않고 남긴다. 각 항목에 대해 미해결로 남긴 판단 근거(영향 범위, 조치 비용, 우회 방법)를 함께 기록하고, 제 9 장의 향후 과제로 연결한다.