같은 정답 번호는 실제로 연달아 나온다. 저희 DB의 영어 읽기 147회(수능 12회·6월과 9월 모의평가 24회·학력평가 111회) 중 142회에서 같은 번호가 최소 두 번 연달아 나왔고, 56회에서는 3연속 이상도 있었다. 같은 번호가 연달아 나왔다는 것만으로 답이 틀렸다고 볼 근거는 이 자료에 없다.
「같은 번호가 연달아 나오면 찍은 게 틀렸을 것」이라는 말은 수험생 사이에서 자주 들린다. 확인할 방법은 단순하다. 실제 시험지에서 바로 붙은 두 문항의 정답이 같은 비율을 세고, 같은 시험지의 번호를 무작위로 섞었을 때 나오는 비율과 비교하면 된다. 저희 DB의 영어 읽기 147회로 이 비교를 해 봤다. 결과는 한 갈래로 정리되지 않았다. 전체로 보면 반복이 무작위보다 적었지만, 그 차이는 주로 학력평가에서 나타났다. 평가원 시험에서는 차이를 검출하지 못했다.
한눈에: 반복 자체는 흔하다. 영어 읽기 147회 중 142회에 2연속이 있었고, 3연속 이상도 56회 나왔다. 인접 문항 3,969쌍 중 정답이 같은 쌍은 659쌍(16.6%)이다. 셔플 기준선 평균은 728.7쌍(18.4%)이고, 셔플 100,000회 중 관측값 이하가 나온 것은 189회(p≈0.0019)였다. 3문항 연속 같은 정답은 76건으로 셔플 평균 116.9건보다 적었다(100,000회 중 11회, p≈0.0001). 학평 111회만 떼면 p=0.0025(3연속 p=0.0005)이고, 평가원 36회는 p=0.17(3연속 p=0.06), 수능 12회는 p=0.44다. 이 비교는 무작위 배열과의 차이를 잰 것이고, 출제자의 의도나 규칙을 보여 주는 증거는 아니다.
무엇을 어떻게 세었나
자료는 하나다. 저희가 정리한 영어 기출 DB(우리 DB 영어 enriched CSV, gichul_e_db_enriched.csv)에서 영역이 「읽기」인 문항만 골랐다.
| 항목 | 값 |
|---|---|
| 시험지 단위 | 연도×시행으로 묶음 |
| 시험지 수 | 147회(모두 28문항, 문항번호 18~45) |
| 기간 | 2014~2025년 시행(2015~2026학년도) |
| 포함 시행 | 수능, 6월·9월 모의평가, 고1~3 학력평가 |
| 평가원 시행 | 36회(그중 수능 12회) |
| 학평 | 111회(6월·9월 모평·수능 외 시행 전부) |
| 인접 문항 쌍 | 3,969쌍 |
「연도」 열은 시행연도라서 학년도로 바꾸려면 1을 더한다. 참고로 이 DB 전체(듣기 포함 6,615문항)의 정답 번호는 1번 1,180, 2번 1,300, 3번 1,372, 4번 1,407, 5번 1,356개로 ①이 가장 적다. 이 분포에는 듣기 문항이 들어 있으므로 읽기만의 분포로 읽으면 안 된다.
방법은 다음과 같다. 각 시험지에서 문항번호순으로 정답을 늘어놓고 바로 붙은 두 정답이 같은 쌍을 센다. 그다음 시험지마다 번호별 개수는 그대로 두고 순서만 무작위로 섞는 시뮬레이션을 100,000회 반복해서 셔플 기준선을 만든다. p는 셔플 결과 가운데 관측값 이하가 나온 비율이고, (관측값 이하 횟수 + 1) ÷ (100,000 + 1)로 계산했다. 시뮬레이션으로 추정한 값이므로 p가 0이 되는 일은 없다. 전체와 시행별 묶음(수능·평가원·학평)은 같은 100,000회 셔플에서 나눠 센 것이다.
핵심 개념
- 인접 반복 — 문항번호가 이어지는 두 문항(예: 23번과 24번)의 정답 번호가 같은 경우. 한 시험지에 27쌍이 있다.
- 셔플 기준선 — 시험지의 번호별 개수를 고정한 채 순서만 무작위로 섞었을 때의 평균. 균등 확률 20%가 아니다. 전체 읽기에서는 18.4%다.
- 3연속 — 이어지는 3문항의 정답이 모두 같은 경우. 겹치는 3문항 창을 세기 때문에 4연속 하나는 2건으로 잡힌다.
- 최장 연속 — 한 시험지 안에서 같은 번호가 가장 길게 이어진 길이.
전체 결과 — 반복은 기준선보다 적다
| 지표 | 관측 | 셔플 기준선(100,000회) | 관측값 이하가 나온 횟수 |
|---|---|---|---|
| 인접 반복(3,969쌍) | 659쌍(16.6%) | 평균 728.7쌍(18.4%), 표준편차 24.0 | 189회 (p≈0.0019) |
| 3연속 | 76건 | 평균 116.9건 | 11회 (p≈0.0001) |
인접 반복은 관측값이 기준선보다 70쌍쯤 적다. 기준선의 표준편차가 24.0이니 우연한 흔들림으로 보기 어려운 크기다. 3연속은 차이가 더 뚜렷하다. 셔플 100,000회에서 76건 이하는 11회뿐이었다. 다만 이 결과는 순서를 무작위로 섞은 배열과 비교한 값이다. 출제자가 실제로 「같은 번호를 연달아 두지 않는다」는 규칙을 썼다는 증거는 아니다.
그렇다고 반복이 드문 것은 아니다. 시험지별 최장 연속 길이를 세면 다음과 같다.
| 최장 연속 길이 | 시험지 수 |
|---|---|
| 1(반복 없음) | 5회 |
| 2 | 86회 |
| 3 | 50회 |
| 4 | 6회 |
147회 중 142회에 같은 번호가 최소 두 번 연달아 나왔고, 3연속 이상도 56회 나왔다. 3연속 건수(76건)와 최장 3 이상 시험지 수(56회)가 다른 것은 4연속이 2건으로 잡히고 한 시험지에 3연속이 여러 번 나올 수 있기 때문이다.
평가원과 학평은 갈린다
같은 100,000회 셔플을 시행별로 나눠 셌다.
| 구분 | 인접 반복 | 셔플 평균 | p | 3연속 | 셔플 평균 | p |
|---|---|---|---|---|---|---|
| 수능 12회 | 56/324쌍(17.3%) | 57.7(17.8%) | 0.44 | 6건 | 8.6 | 0.27 |
| 평가원 36회(6월·9월·수능) | 161/972쌍(16.6%) | 172.7(17.8%) | 0.17 | 17건 | 25.6 | 0.06 |
| 학평 111회 | 498/2,997쌍(16.6%) | 556.0(18.6%) | 0.0025 | 59건 | 91.3 | 0.0005 |
전체에서 보인 셔플 기준선과의 차이는 주로 학평 111회에서 나타났다. 학평 111회는 인접 반복과 3연속 모두 기준선보다 적고, 셔플에서 관측값 이하가 나오는 비율도 1% 아래다.
평가원 쪽은 다르게 읽어야 한다. 수능 12회의 인접 반복은 17.3%로 기준선 17.8%와 거의 같고, p=0.44다. 6월·9월 모평까지 합친 36회도 p=0.17이다. 3연속은 36회 기준 17건 대 25.7건으로 관측이 적고 p=0.06이지만, 여기서 선을 넘었다고 말할 수는 없다. 표본이 12회와 36회로 작기 때문에 이 결과는 **「평가원 시험지에서는 무작위 배열과의 차이를 검출하지 못했다」**는 뜻이다. 「평가원은 정답을 무작위로 뽑는다」는 증명이 아니다.
수능 12년 가운데 최장 연속은 2016학년도(2015년 11월 시행)의 4연속 한 번이고, 나머지 해는 2~3연속이었다. 수능에서도 같은 번호가 세 번, 네 번 이어진 해가 있었다.
학평에서 왜 반복이 기준선보다 적게 나타나는지는 확인하지 못했다. 출제 관행인지 검수 규칙인지 알려 주는 정보가 DB에 없고, 공식 자료도 찾지 못했다. 그래서 이 글은 관측만 적는다.
직전 정답 → 다음 정답 전이표
읽기 3,969쌍을 「직전 정답(행) → 다음 정답(열)」의 5×5 표로 누적했다. 같은 번호가 반복되는 대각선 칸은 다음과 같다.
| 반복 | 1→1 | 2→2 | 3→3 | 4→4 | 5→5 |
|---|---|---|---|---|---|
| 쌍 수 | 111 | 99 | 133 | 170 | 146 |
대각선이 아닌 칸은 121~216 범위다. 크게 나온 칸으로는 3→4(201), 5→4(216), 4→3(199)처럼 이웃 번호로 넘어가는 칸이 있다.
이 표에 대해서는 칸별 유의성 검정을 하지 않았다. 그래서 위 수치는 기술 통계로만 읽어야 한다. 「4번 다음엔 3번이 잘 나온다」 같은 예측 규칙으로 쓸 근거가 되지 않는다.
이 결과로 말할 수 있는 것과 없는 것
말할 수 있는 것은 이렇다. 저희 DB의 영어 읽기 147회 전체에서 인접 정답 반복과 3연속은 번호별 개수를 고정한 셔플 기준선보다 적었다. 그 차이는 주로 학평 111회에서 나타났다. 평가원 36회와 수능 12회에서는 기준선과의 차이를 검출하지 못했다. 같은 번호의 2연속은 거의 모든 시험지에 있었고, 수능에서도 3연속과 4연속이 관측됐다.
말할 수 없는 것도 있다. 출제자가 어떤 배치 규칙을 썼는지는 이 자료로 알 수 없다. 전이표의 칸별 차이가 우연인지는 검정하지 않았다. 이 관측을 찍기 전략으로 옮겼을 때 점수가 어떻게 달라지는지도 측정하지 않았다. 평가원 표본은 12회와 36회로 작고, 셔플 기준선(18.4%)은 균등 확률 20%가 아니라 시험지별 번호 개수를 고정한 배열의 평균이다.
이 글은 코그닉스랩의 자체 조사·집계로 작성되었습니다. 출처: 수능·모평·학평 영어 읽기 147회 — 같은 정답 번호는 얼마나 연달아 나올까 — 코그닉스랩