오답 함정 이야기는 보통 「가장 많은 함정 몇 가지」에서 끝난다. 그런데 13개 학년도를 한 줄로 늘어놓고, 영역별로 쪼개 보면 질문이 둘 더 생긴다 — 1위는 정말 모든 영역의 1위인가, 그리고 1위 아래에서 움직인 것이 있는가. 그래서 코그닉스랩 자체 DB gichul_db_enriched.csv에 담긴 평가원 국어 기출 1,854문항(6월·9월 모의평가와 수능)을 학년도별·영역별로 다시 셌다. 1위는 13년 내내 같았다. 그런데 그 1위는 문학이 만든 숫자였고, 독서의 1위는 따로 있었다.
한눈에: 저희가 붙인 함정유형 라벨 기준으로 맥락이탈은 1,854문항 중 514문항(27.7%)이고, 2014~2026학년도 13개 학년도 모두 1위였다. 그 무게는 문학에 쏠려 있다 — 문학 600문항 중 275문항(45.8%)이 맥락이탈이다. 독서 592문항에서는 유사어혼동(95)이 1위이고 맥락이탈(83)은 2위다. 2014~2019학년도(755문항)와 2022~2026학년도(829문항)를 비교하면 맥락이탈은 26.5% 대 27.1%로 거의 같았다. 가장 크게 움직인 것은 개념혼동의 증가(1.9%→5.1%, Fisher p=0.0006)였고, 늘어난 28문항 중 13문항이 화작(160문항 중 0→165문항 중 13)에서 나왔다. 유사어혼동은 11.4%에서 7.5%로 줄었지만(p=0.0093), 함정 11종을 모두 비교한 결과라 보정하면 기준을 넘지 못한다. 이 함정유형은 평가원 분류가 아니라 저희 태깅이며, 변화의 원인은 이 글에서 다루지 않는다.
무엇을 어떻게 세었나
사용한 자료와 도구는 다음 전부다.
| 자료 | 실물 | 용도 |
|---|---|---|
코그닉스랩 자체 DB gichul_db_enriched.csv | 국어 1,854문항, 2014~2026학년도 평가원 6월·9월 모의평가 + 수능 | 학년도·영역·함정유형 교차 집계 |
scipy.stats.fisher_exact | 파이썬 통계 함수 | 두 구간 비교의 2×2 정확검정 |
학년도별 문항 수는 2014학년도 90, 2015·2016·2018~2021학년도 각 135, 2017학년도 125, 2022~2025학년도 각 168, 2026학년도 157이다. 2014학년도는 수능 없이 6월·9월 모의평가(B형) 2회만 있고, 2014~2016학년도는 B형만 담겼다. 2017학년도 6월 화작 10문항과 2026학년도 6월 언매 11문항도 DB에 없다. 시행 라벨에는 「6월모평」「6월 모평」「6월모평(B형)」 같은 표기가 섞여 있어 공백과 「(B형)」을 지워 묶었다.
DB는 (연도, 시행, 문항번호, 영역)을 기준으로 중복이 0건이고, 함정유형 열은 1,854문항 전부에 채워져 있다. 함정유형 라벨은 공백만 제거해 정규화했다. 학년도별 순위는 crosstab(연도, 함정유형)으로 해마다 최다 값과 그다음 값을 뽑아 정했다. 두 구간 비교는 함정유형 하나를 정해 「그 함정인 문항 대 아닌 문항」으로 2×2 표를 만들고 Fisher 정확검정을 돌렸다.
핵심 개념
- 함정유형 — 문항마다 저희가 붙인 함정 라벨. 평가원이 공표한 분류가 아니며, 평가원의 출제 의도나 정답률을 뜻하지 않는다. 이 글의 「맥락이탈」「유사어혼동」「개념혼동」「선택지재구성」은 모두 저희 분류명이다.
- 문항 단위 집계 — 오답 선지 하나하나를 세지 않는다. 대부분 문항에 라벨이 1개 붙어 있고, 「맥락이탈,선택지재구성」처럼 2개가 붙은 10개 행은 그 문자열 그대로 별도 값으로 셌다.
- 두 구간 비교 — 2014~2019학년도(755문항) 대 2022~2026학년도(829문항). 2020~2021학년도(270문항)는 일부러 뺐고, 경계는 분석자가 정했다.
- p값 — 여기 나오는 p값은 이 DB의 표본과 라벨을 그대로 쓴 탐색적 검정의 결과다. 같은 시험·같은 지문의 문항끼리는 독립이 아니고, 여러 함정을 동시에 비교했다는 점도 함께 감안해야 한다.
이 분류명들은 평가원 공식 용어가 아니다. 라벨을 다시 붙였을 때 같은 라벨이 나오는지(함정유형 라벨의 재현성)는 이번에 측정하지 못했다. 이 글의 수치는 모두 통합 CSV의 라벨 한 벌을 기준으로 한다.
13개 학년도 모두 맥락이탈이 1위였다
| 학년도 | 문항 수 | 맥락이탈 | 그해 2위 |
|---|---|---|---|
| 2014 | 90 | 30 (33.3%) | 유사어혼동 12 |
| 2015 | 135 | 34 (25.2%) | 조건누락 19 |
| 2016 | 135 | 28 (20.7%) | 유사어혼동 15 |
| 2017 | 125 | 33 (26.4%) | 유사어혼동 15 |
| 2018 | 135 | 37 (27.4%) | 유사어혼동 16 |
| 2019 | 135 | 38 (28.1%) | 부분긍정→전체긍정·유사어혼동 각 12 |
| 2020 | 135 | 41 (30.4%) | 조건누락 19 |
| 2021 | 135 | 48 (35.6%) | 유사어혼동 17 |
| 2022 | 168 | 57 (33.9%) | 조건누락 18 |
| 2023 | 168 | 48 (28.6%) | 개념혼동 18 |
| 2024 | 168 | 50 (29.8%) | 개념혼동 12 |
| 2025 | 168 | 38 (22.6%) | 선택지재구성 21 |
| 2026 | 157 | 32 (20.4%) | 부분긍정→전체긍정·유사어혼동 각 13 |
| 합계 | 1,854 | 514 (27.7%) |
각 해의 2위는 12~21문항이었다. 맥락이탈이 가장 적었던 해(2016학년도 28문항)도 2위가 가장 많았던 해(2025학년도 21문항)보다 많다. 1위와 2위 사이가 한 번도 좁혀지지 않았다는 뜻이다.
이 표는 순위를 보여 주는 표이지 추이를 보여 주는 표가 아니다. 학년도마다 들어 있는 회차와 영역 구성이 다르기 때문에, 2022학년도 57문항과 2026학년도 32문항을 그대로 비교하면 안 된다. 비중으로 봐도 20.4%에서 35.6% 사이를 오르내렸다.
수능과 모의평가를 나눈 함정 분포는 아직 집계하지 않았다. 「13년 1위」는 세 시행을 합친 DB 기준이다.
영역별로 쪼개면 — 1위는 문학이 만든 숫자다
맥락이탈이 전체 1위라고 해서 모든 영역에서 같은 무게로 나오는 것은 아니다.
| 영역 | 문항 수 | 맥락이탈 비중 | 그 영역 1위 함정 |
|---|---|---|---|
| 문학 | 600 | 45.8% (275) | 맥락이탈 275 |
| 화작 | 385 | 28.3% (109) | 맥락이탈 109 |
| 문법(2014~2016) | 48 | 18.8% (9) | 유사어혼동 11 |
| 언매 | 229 | 16.6% (38) | 맥락이탈 38 |
| 독서 | 592 | 14.0% (83) | 유사어혼동 95 |
문학에서는 문항 둘 중 하나 가까이에 맥락이탈 라벨이 붙었다. 514문항 가운데 275문항, 절반 이상이 문학 한 영역에서 나온다. 반면 독서에서 맥락이탈은 일곱 문항 중 하나꼴이고, 독서의 1위는 유사어혼동(95)이다. 맥락이탈(83)과 인과역전(75)이 그 뒤를 바짝 따른다. 「국어 오답 함정 1위는 맥락이탈」이라는 문장은 전체 합계로는 맞지만, 독서 공부에 그대로 가져가면 틀린 처방이 된다.
두 구간을 맞대면 — 맥락이탈은 그대로, 움직인 것은 그 아래
2014~2019학년도와 2022~2026학년도를 같은 방식으로 비교했다. 두 구간을 합쳐 20문항 이상인 함정 11종을 모두 검정했고, 아래는 그중 주요 네 줄과 p값이 0.05 아래로 내려간 두 줄이다.
| 함정유형(저희 분류명) | 2014~2019학년도 (755문항) | 2022~2026학년도 (829문항) | Fisher p | 판정 |
|---|---|---|---|---|
| 맥락이탈 | 26.5% (200) | 27.1% (225) | 0.78 | 유의한 차이 확인 못 함 |
| 개념혼동 | 1.9% (14) | 5.1% (42) | 0.0006 | 유의하게 증가 (11종 보정 후에도) |
| 유사어혼동 | 11.4% (86) | 7.5% (62) | 0.0093 | 5% 수준에서 감소, 11종 보정 시 기준 미달 |
| 조건누락 | 9.3% (70) | 7.7% (64) | 0.28 | 유의하지 않음 |
| 선택지재구성 | 4.1% (31) | 6.2% (51) | 0.070 | 5% 수준에서 유의하지 않음 |
맥락이탈은 두 구간에서 관측 비중이 거의 같았다(26.5% 대 27.1%). 이 검정에서 유의한 차이를 확인하지 못했다는 뜻이지, 두 구간이 똑같다고 입증한 것은 아니다.
가장 크게 움직인 것은 개념혼동이다. 14문항에서 42문항으로, 비중이 2.7배가 됐다. 같은 두 구간을 영역별로 보면 화작에서 160문항 중 0문항이던 것이 165문항 중 13문항이 됐고(2020~2021학년도 60문항에도 0), 독서(247문항 중 7→255문항 중 14)와 언매(45문항 중 4→154문항 중 13)에서도 늘었다. 화작은 2022학년도부터 DB에서 35~45번 선택과목 자리로 옮겨 간 영역이다. 다만 이 증가가 실제 출제의 변화인지, 그 구간의 태깅 습관이 달라진 것인지는 이 데이터로 가를 수 없다.
유사어혼동은 11.4%에서 7.5%로 줄었다. 하지만 함정 11종을 동시에 비교했으니, 가장 단순한 보정(본페로니, p×11)을 하면 0.10이 되어 기준을 넘지 못한다. 영역 안에서 따로 보면 독서 18.2%(45/247)→12.9%(33/255, p=0.11)처럼 방향은 같지만 어느 영역에서도 유의하지 않았다. 「유사어혼동이 줄었다」는 지금으로서는 관측된 방향까지만 말할 수 있다.
선택지재구성 — 한 해의 급증은 이어지지 않았다
선택지재구성은 두 구간 사이에 4.1%에서 6.2%로 올라 방향은 증가지만, p=0.070이라 5% 수준에서 유의하지 않다. 「증가 추세」라고 쓸 근거는 아직 없다.
눈에 띄는 것은 2025학년도 한 해다. 이 해 선택지재구성은 21문항(12.5%)으로 맥락이탈(38문항) 다음 2위였고, 13개 학년도 2위 가운데 가장 큰 숫자였다. 그러나 이듬해 2026학년도에는 4문항(2.5%)으로 내려왔다. 지금으로서는 「그 해에 많았다」 이상으로 읽을 수 없다.
이 관측의 한계
- 저희 태깅이다. 함정유형은 평가원이 공표한 분류가 아니며, 평가원의 출제 의도나 정답률을 말하지 않는다. 라벨을 다시 붙였을 때의 일치도는 측정하지 못했다.
- 문항 단위다. 한 문항의 여러 오답 선지가 서로 다른 함정을 품고 있어도 문항의 라벨만 셌다.
- 라벨 정규화는 공백 제거까지만 했다. 라벨이 2개 붙은 10개 행은 합치지 않았다.
- 수록 범위가 고르지 않다. 2014학년도 수능, 2014~2016학년도 A형, 2017학년도 6월 화작, 2026학년도 6월 언매가 DB에 없다. 학년도끼리는 비율로만 비교했다.
- 구간 경계는 분석자가 정했다. 2020~2021학년도는 일부러 뺐다.
- 원인은 다루지 않는다. 개념혼동이 늘고 유사어혼동이 줄어든 이유, 2025학년도 선택지재구성이 많았던 이유는 이 데이터 범위 밖이다.
정리
저희 분류로 13개 학년도를 세면, 평가원 국어 기출에서 가장 많은 오답 함정은 해마다 맥락이탈이었고 그 비중도 두 구간 사이에 거의 변하지 않았다(26.5% 대 27.1%). 그러나 그 1위는 문학이 만든 숫자였고, 독서에서는 유사어혼동이 1위였다. 두 구간 사이에 가장 크게 움직인 것은 개념혼동의 증가(1.9%→5.1%)였고, 유사어혼동의 감소(11.4%→7.5%)는 여러 비교를 감안하면 방향까지만 말할 수 있다. 이 숫자들이 학생의 정답률이나 점수와 어떻게 이어지는지는 측정하지 않았다.
이 글은 코그닉스랩의 자체 조사·집계로 작성되었습니다. 출처: 우리 함정 분류로 본 평가원 국어 13개 학년도 — 맥락이탈은 해마다 1위, 그런데 독서에서는 유사어혼동이 1위 — 코그닉스랩