「정답은 번호마다 고르게 나온다」는 말은 시험지 전체로 보면 맞을 때가 많다. 하지만 수험생은 보통 문항 하나를 두고 묻는다. 듣기 10번은 ④가 많지 않나, 17번에는 ①이 나오나. 그래서 2014~2025년에 시행된 평가원 영어 시험 36회의 듣기 정답 612개를 문항 번호별로 다시 셌다. 먼저 분명히 해 둔다. 아래 숫자는 이미 치러진 시험을 센 기록이고, 찍기나 다음 시험 예측에 쓸 수 있는 근거가 아니다.
한눈에: 이 수치는 찍기 전략이 아니다. 평가원 듣기 612문항 전체의 정답 번호는 ① 130, ② 116, ③ 123, ④ 127, ⑤ 116이고, 균등 가설을 기각할 근거는 없었다(카이제곱 p=0.858). 번호별로는 10번이 가장 크게 벗어났다. 36회 중 20회가 ④였고, 그중 13회는 2014~2018년 시행 15회에 몰려 있다. 17번은 정답이 ①인 회차가 자체 DB의 평가원 36회 중 0회, 같은 DB의 학력평가 111회 중에서도 0회다. 17개 번호를 한꺼번에 검정한 것을 보정하면(BH-FDR) 3·6·10·17번 네 곳이 남는다. 따로 볼 때 p<0.05였던 나머지 다섯 번호(2·9·11·14·16번)는 보정 뒤 우연과 구별하기 어렵다.
무엇을 어떻게 세었나
자료는 자체 DB인 영어 기출 enriched CSV(gichul_e_db_enriched.csv) 하나다. 이 파일에서 영역이 「듣기」이고 시행이 6월 모의평가·9월 모의평가·수능인 행만 골랐다.
| 항목 | 값 |
|---|---|
| 시험 | 평가원 6월 모의평가 · 9월 모의평가 · 수능 |
| 시행연도 | 2014~2025년(12개 연도, 학년도로는 2015~2026학년도) |
| 회차 | 36회(12년 × 3회) |
| 회차당 듣기 문항 | 17문항(36회 모두 17문항) |
| 합계 | 612문항 |
| 보조 대조 | 같은 DB의 학력평가 111회(고1·고2·고3) 17번 |
이 글에서 연도는 모두 시행연도다. 학년도로 바꾸려면 1을 더하면 된다. 2018년 시행 수능은 2019학년도 수능이다. 2026년에 시행된 시험은 이 DB에 없어서 집계에 포함하지 않았다.
방법은 네 가지다. 첫째, 번호별·전체 정답 개수를 세고 scipy의 카이제곱 검정으로 균등 분포와 비교했다. 번호별 p값 17개는 Benjamini-Hochberg(BH) 방식으로 다중비교를 보정했다. 둘째, numpy로 «36회 × 17문항 정답을 균등·독립 난수로 뽑기»를 100만 번 반복했다(seed 0, 확인용 seed 1). 85칸(17문항×5개 번호) 중 가장 큰 칸과 가장 작은 칸의 크기를 봤다. 셋째, 한 회차 안의 정답 번호 개수가 서로 독립이 아닐 가능성을 반영하려고, 회차마다 정답 구성(①~⑤ 개수)은 그대로 두고 17문항 안의 위치만 섞는 순열을 100만 번 돌려 같은 값을 다시 봤다(seed 0). 넷째, 회차마다 문항 번호 순으로 정렬해 바로 앞 문항과 정답 번호가 같은 경우를 셌다.
핵심 개념
- 전체 분포 — 612문항을 번호 구분 없이 합친 정답 번호 분포.
- 번호별 분포 — 1번부터 17번까지 문항 번호마다 36회의 정답 번호를 따로 센 것. 전체가 고르더라도 번호별로는 치우칠 수 있다.
- 최대 칸 모의 — 85칸 중 «가장 큰 칸»이 얼마나 커지는지를 모의로 확인하는 방법. 여러 칸 가운데 가장 튀는 칸을 골라 보는 것이므로 칸 하나만 따로 검정한 값과는 다르다.
- BH 보정 — 검정을 여러 번 하면 우연만으로도 몇 개는 p<0.05가 된다. BH는 그렇게 «발견»으로 잘못 고르는 비율을 관리하도록 p값을 조정한 값(q)을 준다.
전체 — 612문항, 균등 가설을 기각할 근거 없음(p=0.858)
| 정답 번호 | ① | ② | ③ | ④ | ⑤ |
|---|---|---|---|---|---|
| 문항 수 | 130 | 116 | 123 | 127 | 116 |
| 비율 | 21.2% | 19.0% | 20.1% | 20.8% | 19.0% |
평가원 36회(2014~2025년 시행) 듣기 1~17번, 문항당 정답 1개 집계.
가장 많은 ①과 가장 적은 ②·⑤의 차이는 14문항이다. 다섯 번호가 같은 확률로 나온다고 가정한 카이제곱 검정에서 p=0.858이 나왔다. 이 값은 «균등하다»는 증명이 아니다. 이 숫자로는 균등하지 않다고 말할 근거를 찾지 못했다는 뜻이다. 그리고 이 결과는 612문항을 모두 합쳤을 때의 이야기다. 번호별로 나눠 보면 결과가 달라진다.
10번 — 36회 중 20회가 ④
| 정답 번호 | ① | ② | ③ | ④ | ⑤ |
|---|---|---|---|---|---|
| 10번(평가원 36회) | 2 | 5 | 6 | 20 | 3 |
균등하게 나온다면 한 칸의 기대값은 7.2회다. ④는 20회였다. 정답이 문항마다 독립적으로 균등하게 정해진다는 모형으로 100만 번 모의하면, 85칸 중 가장 큰 칸이 20 이상인 경우는 0.022%(217회, seed 1에서는 0.023%)였다. 회차별 정답 구성을 보존한 순열에서도 0.020%(199회)였다. 즉 가정한 모형 아래서는 가장 튀는 칸을 골라 보더라도 드문 쏠림이다. 다만 실제 출제가 이 모형을 따른다는 보장은 없고, 이 집계로는 쏠림의 원인도 알 수 없다. 출제자가 ④를 고른다는 뜻으로 읽으면 안 된다.
연도별로 나눠 보면 쏠림이 언제 나타났는지 보인다(각 연도는 6월·9월·수능 순서).
| 시행연도 | 10번 정답 | ④ 횟수 |
|---|---|---|
| 2014 | 4, 4, 4 | 3 |
| 2015 | 4, 4, 4 | 3 |
| 2016 | 4, 4, 5 | 2 |
| 2017 | 4, 5, 4 | 2 |
| 2018 | 4, 4, 4 | 3 |
| 2019 | 3, 3, 3 | 0 |
| 2020 | 2, 4, 4 | 2 |
| 2021 | 3, 4, 4 | 2 |
| 2022 | 4, 2, 1 | 1 |
| 2023 | 3, 5, 2 | 0 |
| 2024 | 2, 3, 2 | 0 |
| 2025 | 1, 4, 4 | 2 |
2014~2018년 시행 15회에서는 ④가 13회 나왔다. 2019~2025년 시행 21회에서는 7회였다. 그러니 «10번은 ④»라는 말은 주로 2018년까지의 시험에 해당한다. 그렇다고 2019년 이후 쏠림이 완전히 사라졌다고 단정할 수는 없다. 뒤쪽 시기는 21회뿐이라 표본이 작다.
10번의 소분류는 내용일치(언급) 24회, 내용일치(도표) 12회였다. 같은 DB의 학력평가 111회에서는 10번 정답이 ④인 비율이 35.1%로, 평가원(55.6%)보다 쏠림이 약했다.
17번 — 정답이 ①인 회차가 없다
| 정답 번호 | ① | ② | ③ | ④ | ⑤ |
|---|---|---|---|---|---|
| 17번(평가원 36회) | 0 | 4 | 12 | 10 | 10 |
| 17번(학평 111회) | 0 (0%) | 12 (10.8%) | 37 (33.3%) | 45 (40.5%) | 17 (15.3%) |
평가원 36회에서 17번 정답이 ①인 회차는 0회였다. 앞의 균등·독립 모의에서 85칸 중 0인 칸이 하나라도 생기는 경우는 2.7%였다(회차 안 순열에서는 2.8%). 실제 612문항에서 0인 칸은 17번 ① 하나뿐이다. 17번만 따로 본 카이제곱 p는 0.007이고, BH 보정 후 q=0.031이다. 같은 DB의 학력평가 111회(고1·고2·고3, 2014~2025년 시행. 연도·시행으로 회차를 고유 집계했고 111회 모두 17문항, 17번 정답 결측 0)에서도 17번 정답이 ①인 회차는 없었다. 평가원 36회의 17번은 모두 내용일치(언급) 유형이었다.
이 결과는 DB에 기록된 시험에서 ①이 나온 적이 없다는 데까지만 말해 준다. 다음 시험에서도 ①이 나오지 않는다는 보장은 아니다. 학력평가 수치는 보조 비교로만 썼다. 학력평가 111회는 평가원과 같은 2014~2025년 시행분이지만, 연도별 회차 수는 고르지 않다(2014~2017년은 연 4회, 2018년 이후는 연 11~12회).
10·17번 말고 다른 번호도 쏠렸나 — 보정 뒤 3번·6번이 더 남는다
번호마다 다섯 칸으로 나눠 카이제곱 검정을 했을 때 p<0.05인 번호는 9개다. 17개 번호를 한꺼번에 검정했으므로 BH 방식으로 보정한 q값을 함께 적었다.
| 문항 번호 | 정답 분포(①~⑤) | p값 | BH 보정 q | 보정 후 |
|---|---|---|---|---|
| 10번 | 2, 5, 6, 20, 3 | <0.001 | <0.001 | 남음 |
| 6번 | 1, 3, 10, 15, 7 | 0.002 | 0.014 | 남음 |
| 3번 | 16, 5, 7, 3, 5 | 0.006 | 0.031 | 남음 |
| 17번 | 0, 4, 12, 10, 10 | 0.007 | 0.031 | 남음 |
| 9번 | 1, 10, 7, 13, 5 | 0.019 | 0.059 | 약함 |
| 2번 | 11, 11, 1, 4, 9 | 0.024 | 0.059 | 약함 |
| 16번 | 12, 11, 7, 1, 5 | 0.024 | 0.059 | 약함 |
| 14번 | 13, 6, 10, 2, 5 | 0.034 | 0.073 | 약함 |
| 11번 | 5, 6, 3, 8, 14 | 0.043 | 0.082 | 약함 |
평가원 36회 기준, 번호당 관측 36개. 회차별 정답 구성을 보존한 순열로 번호별 p를 다시 구해 보정해도 q<0.05인 번호는 같은 네 개였다.
보정 뒤에도 남는 번호는 10·6·3·17번이다. 이 가운데 10번은 가장 큰 칸을 고르는 모의로도 드물게 나오는 수준이고, 17번은 한 칸이 0이라는 점에서 눈에 띈다. 6번 ④ 15회와 3번 ① 16회도 보정 후 q<0.05였다. 더 보수적인 Holm 보정을 쓰면 10번과 6번만 0.05 아래에 남는다. 나머지 다섯 번호는 보정 후 q가 0.05를 넘으므로, 이 자료로는 우연과 구별할 근거가 약하다.
바로 앞 문항과 같은 번호 — 13.2%
회차마다 1번부터 17번까지 순서대로 늘어놓으면 이웃한 문항 쌍이 16개 생긴다. 36회를 합치면 576쌍이다. 이 가운데 바로 앞 문항과 정답 번호가 같은 쌍은 76개(13.2%)였다. 정답이 완전히 독립적인 균등 난수라면 기대값은 20%(약 115쌍)다. 다만 이 DB의 회차들은 한 회차 안의 정답 번호 개수가 균등 난수보다 고르게 관측됐다. 그래서 회차별 구성을 그대로 두고 위치만 섞어도 기대값은 약 94.6쌍(16.4%)으로 내려간다. 그 순열 100만 번 중 76쌍 이하가 나온 경우는 1.7%였다(다중비교 보정 전 값). 왜 이렇게 적은지는 확인하지 못했다. 이 수치는 듣기 17문항 안의 연속만 센 것이다. 읽기의 연속 정답은 기존 글 수능·모평·학평 영어 읽기 147회 — 같은 정답 번호는 얼마나 연달아 나올까에서 따로 다룬다.
이 숫자로 할 수 있는 것과 없는 것
이 표들로 말할 수 있는 것은 하나다. 2014~2025년 시행 평가원 듣기에서 정답 번호가 실제로 어떻게 나왔는가. 전체로는 균등과 구별되지 않았다. 번호별로는 10번 ④가 가장 크게 벗어났고 그 쏠림은 주로 2018년까지 나타났다. 17번은 기록상 ①이 한 번도 정답이 아니었다.
말할 수 없는 것도 있다. 이 숫자는 다음 시험의 정답을 알려 주지 않고, 쏠림이 왜 생겼는지도 설명하지 않는다. 모의 결과의 «드물다»는 정답이 문항마다 독립적으로 정해진다는 가정 아래의 이야기이며, 실제 출제 방식이 그 가정을 따르는지는 모른다. 평가원이 정답 번호 배치를 관리한다는 공식 설명이나 자료는 찾아보지 않았다.
한계
- 36회 표본이다. 번호마다 관측값은 36개뿐이다. 칸 하나에 몇 회 차이만 나도 비율이 크게 움직인다.
- 모의는 모형의 가정에 기댄다. 균등·독립 모형과 회차 안 순열 두 가지로 확인했지만, 시험 사이의 의존성이나 «눈에 띄는 번호를 골라 글을 쓴» 사후 선택까지 반영한 것은 아니다.
- 학력평가는 보조 비교다. 학력평가 111회는 연도별 회차 수가 고르지 않다.
- 정답은 자체 DB 하나에서 가져왔다. 이번 재집계에서 평가원 공식 정답표와 612개를 다시 대조하지는 않았다.
- 2026년 시행분이 빠져 있다. 집계는 2025년 시행(2026학년도)까지다.
- 원인과 효과는 측정하지 않았다. 출제 의도를 다루지 않았고, 이 숫자가 수험생 점수에 어떤 영향을 주는지도 측정하지 않았다.
출처: 자체 DB 영어 기출 enriched CSV(gichul_e_db_enriched.csv). 영역 「듣기」, 시행 6월 모의평가·9월 모의평가·수능을 골라 문항 번호와 정답을 교차 집계했다. 검정은 scipy.stats.chisquare와 Benjamini-Hochberg 보정, 모의는 numpy(균등·독립 난수 seed 0·1 각 100만 회, 회차 안 순열 seed 0 100만 회)로 했다.
이 글은 코그닉스랩의 자체 조사·집계로 작성되었습니다. 출처: 수능·모평 영어 듣기 정답 번호 612문항 — 전체는 균등과 구별되지 않았고, 10번 ④가 가장 크게 벗어났다 — 코그닉스랩