수능영어 3점 문항이 회차마다 몇 개, 몇 번에 나오는지는 셀 수 있다. 학생이 이어서 묻게 되는 것은 3점 문항은 오답 선지가 다른 방식으로 만들어지느냐다. 그래서 평가원 영어 읽기 1,008문항에 저희가 붙여 둔 함정유형 태그를 배점별로 나눠 세었다. 전체로 보면 구성이 달랐다. 그러나 같은 유형끼리 맞춰 보면 그 차이는 거의 사라졌다. 이 글은 그 과정을 그대로 적는다.
먼저 분명히 해 둔다. 아래 숫자는 평가원이 발표한 함정 유형 공식 통계가 아니라, 저희가 기출 문항에 자체 기준으로 태그를 붙여 집계한 탐색적 결과다. 태그는 AI 모델이 붙였고, 사람이 다시 붙여 일치율을 잰 적은 없다.
한눈에: 평가원 6월·9월 모의평가와 수능의 영어 읽기 1,008문항(2014～2025년 시행 = 2015～2026학년도, 36회)을 배점별로 세면 범위·부분 함정은 2점 24.1%(182/756), 3점 4.8%(12/252)이고 패러프레이즈함정은 2점 31.6%, 3점 50.4%였다. 그러나 원본으로 번호 배열을 확인한 2020～2026학년도 21회에서, 2점·3점이 각각 5문항 이상인 9개 유형(3점 147문항 중 108문항)만 맞추면 패러프레이즈 비율은 2점 43.1%, 3점 42.6%로 거의 같았다. 범위·부분 함정이 많이 붙은 유형(도표·요지·주장·실용문·장문 43～45번)은 이 기간에 한 번도 3점으로 나오지 않았다. 그래서 「3점이라서 함정이 다르다」고는 말할 수 없고, 차이는 어떤 유형이 3점으로 나오느냐와 겹쳐 보인다. 범위·부분 함정은 유형을 맞춰도 2점 쪽이 많았지만 해당 문항이 16개뿐이라 판단을 미룬다.
무엇을 어떻게 세었나
| 자료 | 범위 | 용도 |
|---|---|---|
자체 DB gichul_e_db_enriched.csv(영어 enriched) | 평가원 6월모평·9월모평·수능, 2014～2025년 시행(2015～2026학년도), 36회 × 읽기 28문항(18～45번) = 1,008문항 | 함정유형 태그 × 배점 교차 집계 |
| 평가원 영어 문제지 원본 PDF | 같은 36회 | 배점([3점] 표시) 대조, 유형 라벨 점검 |
DB의 「연도」 열은 시행 연도다. 그래서 2014～2025년 시행분은 2015～2026학년도 시험이다.
배점. 배점은 2점 756문항, 3점 252문항이다. 회차마다 읽기 3점은 7개, 듣기 3점은 3개로 영어 전체 3점이 10개다(2점 35개×2 + 3점 10개×3 = 100점). 이 배점을 평가원 문제지 원본의 [3점] 표시와 문항 번호별로 대조했더니, 텍스트를 뽑을 수 있는 35회는 모두 일치했다. 나머지 1회(2021학년도 수능)는 원본 PDF에 글자 층이 없어 대조하지 못했다.
함정 태그. 함정유형은 AI 모델(Gemini)이 문제지를 보고 문항마다 12종(패러프레이즈함정·키워드함정·지시어함정·범위확대축소·부분전체오류 등) 가운데 하나만 골라 붙인 값이다. 그래서 태그끼리는 겹치지 않고, 집계 단위는 문항이다. 오답 선지 하나하나를 센 것이 아니다.
유형 라벨. DB의 소분류(빈칸추론·문장삽입 같은 유형 이름)는 문항 내용이 아니라 문항 번호에 고정해 붙인 값이다. 지금 체제의 번호 배열로 붙여서, 배열이 달랐던 예전 회차에서는 실제 유형과 어긋난다. 원본을 열어 보면 2015학년도 6월 모평의 21번은 「제목」, 27·28번은 「어법」·「어휘」 문항인데, DB에는 각각 함의추론·내용일치(실용문)로 붙어 있다. 반대로 2020～2026학년도 21회 가운데 원본에 글자 층이 있는 20회는 18～30번·35번·40～45번 발문과 31～34번(빈칸)·36～37번(순서)·38～39번(삽입) 묶음 발문이 모두 지금 체제의 번호 배열과 맞았다(2021학년도 수능 1회는 원본에 글자 층이 없어 확인하지 못했다). 2019학년도 3회는 회차마다 배열을 확인하지 않아 보수적으로 뺐다. 그래서 유형이 들어가는 집계는 모두 2020～2026학년도 21회(588문항: 2점 441, 3점 147)로 범위를 좁혔다.
핵심 개념
- 함정유형 태그 — 문항마다 AI 모델이 붙인 대표 함정 1개. 평가원 공식 분류가 아니고, 학생이 실제로 고른 오답의 통계도 아니다.
- 범위·부분 함정 — 이 글에서 「범위확대축소」와 「부분전체오류」 두 태그를 합쳐 부르는 이름.
- 논리·문법 묶음 — 「논리비약」「인과역전」「문법위장」 세 태그의 합. 저희가 묶은 것이며 평가원이 쓰는 묶음이 아니다.
- 유형 맞춤 비교 — 같은 유형 안에서 2점과 3점이 각각 일정 수 이상 있는 유형만 모아 배점별 비율을 다시 보는 것.
배점별 함정 구성 — 전체 36회
출처: 자체 DB gichul_e_db_enriched.csv, pd.crosstab(함정유형, 배점), 평가원 3개 시행 1,008문항. 이 표는 유형 라벨을 쓰지 않으므로 36회 전체로 셌다.
| 함정 태그 | 2점 (756문항 중) | 3점 (252문항 중) |
|---|---|---|
| 패러프레이즈함정 | 239 (31.6%) | 127 (50.4%) |
| 범위확대축소 | 93 (12.3%) | 9 (3.6%) |
| 부분전체오류 | 89 (11.8%) | 3 (1.2%) |
| └ 범위·부분 함정 합계 | 182 (24.1%) | 12 (4.8%) |
| 시간순서착각 | 49 (6.5%) | 0 |
| 논리비약·인과역전·문법위장 합계 | 38 (5.0%) | 38 (15.1%) |
나머지 태그(지시어함정·키워드함정·유사어혼동 등)는 이 글에서 다루지 않는다. 패러프레이즈 여부 × 배점의 2×2 표로 카이제곱 검정을 하면 p = 1.2e-07, 범위·부분 함정 여부로 하면 p = 3.1e-11이다.
원본으로 번호 배열을 확인한 2020～2026학년도 21회만 따로 세도 방향은 같다.
| 함정 태그 | 2점 (441문항 중) | 3점 (147문항 중) |
|---|---|---|
| 패러프레이즈함정 | 149 (33.8%) | 67 (45.6%) |
| 범위·부분 함정 합계 | 111 (25.2%) | 8 (5.4%) |
| 시간순서착각 | 28 (6.3%) | 0 |
| 논리비약·인과역전·문법위장 합계 | 26 (5.9%) | 21 (14.3%) |
이 기간의 패러프레이즈 차이는 36회 전체보다 작고(카이제곱 p = 0.014), 범위·부분 함정 차이는 여전히 크다(p = 4.7e-07). 검정이 말해 주는 것은 두 비율이 다르다는 데까지다. 그 차이가 배점 때문인지 유형 구성 때문인지는 이 검정이 가려내지 못하고, 문항끼리 서로 독립이라는 가정도 깔려 있다. 그 질문은 아래에서 유형을 맞춰 다시 본다.
수능영어 3점 문항은 어떤 유형에서 나오나?
2020～2026학년도 21회에서 3점 147문항이 어느 유형에 있었는지 세면 다음과 같다.
| 3점 유형 | 3점 문항 수 (147문항 중) |
|---|---|
| 빈칸추론(절) | 38 |
| 문장삽입 | 21 |
| 순서배열 | 21 |
| 함의추론 | 15 |
| 장문(어휘) | 12 |
| 어휘추론 | 12 |
| 주제추론 | 10 |
| 그 밖(제목추론 6·어법성판단 6·빈칸추론(구) 5·장문(제목) 1) | 18 |
반대로 같은 21회 동안 목적·심경·주장·요지·도표·내용일치(인물·실용문)·무관문장·요약문·장문(43～45번)은 한 번도 3점으로 나오지 않았다. 그런데 2점의 범위·부분 함정 111문항은 바로 이 유형들에 몰려 있다.
| 2점 유형 | 범위·부분 함정 문항 수 (2020～2026학년도) |
|---|---|
| 도표이해 | 20 |
| 요지파악 | 19 |
| 주장파악 | 17 |
| 내용일치(실용문) | 17 |
| 장문(43～45번) | 16 |
| 제목추론 | 6 |
| 주제추론 | 4 |
| 빈칸추론(구) | 4 |
| 그 밖 | 8 |
3점의 범위·부분 함정 8문항은 빈칸추론(절) 6, 제목추론 2다. 즉 「2점 대 3점」 비교는 같은 유형 안에서 배점만 바꾼 비교가 아니다. 범위·부분 함정이 3점에 적은 것은 그 태그가 잘 붙는 유형이 애초에 3점으로 나오지 않기 때문일 수 있다.
논리·문법 묶음도 마찬가지다. 같은 기간 3점의 논리·문법 묶음 21문항은 문장삽입 8, 어법성판단 6, 어휘추론 4, 빈칸추론(절) 3이고, 2점 26문항 중 15문항은 어법성판단이다. 어법 문항에 「문법위장」 태그가 붙는 것은 태그 정의상 자연스러운 일이라, 이 묶음의 비율은 어법·삽입 문항이 몇 점으로 나오느냐에 크게 좌우된다.
같은 유형끼리 맞추면 2점·3점의 함정 비율은 같을까?
2020～2026학년도 21회에서 같은 유형 안에 2점과 3점이 각각 5문항 이상 있는 유형은 9개다. 3점 147문항 중 108문항이 이 9개 유형에 든다. 3점이 가장 많은 빈칸추론(절)은 빠졌다. 같은 기간 빈칸추론(절)의 2점이 4문항뿐이어서다(참고로 그 4문항은 모두 패러프레이즈였고, 3점 38문항 중에서는 20문항이었다). 이 9개 유형만 모아 패러프레이즈함정 비율을 다시 세었다.
| 범위 | 2점 | 3점 |
|---|---|---|
| 36회 전체 1,008문항 | 239/756 (31.6%) | 127/252 (50.4%) |
| 2020～2026학년도 21회 588문항 | 149/441 (33.8%) | 67/147 (45.6%) |
| 같은 기간, 유형 맞춤 9개 유형(합산) | 62/144 (43.1%) | 46/108 (42.6%) |
합산 비율은 유형마다 문항 수가 달라 그 자체로 구성의 영향을 안고 있다. 그래서 유형별로 층을 나눠 3점 대 2점의 공통 오즈비(Mantel-Haenszel)도 계산했다. 0.89(95% 신뢰구간 0.46～1.73, p = 0.74)로, 같은 유형 안에서 배점에 따른 패러프레이즈 차이는 보이지 않았다. 기준을 「각각 10문항 이상」으로 올리면 남는 유형이 문장삽입·순서배열·주제추론 3개뿐인데, 이때도 2점 14/53(26.4%), 3점 14/52(26.9%)로 거의 같다. 9개 유형을 하나씩 펼치면 다음과 같다.
| 유형 | 2점 패러프레이즈 | 3점 패러프레이즈 |
|---|---|---|
| 함의추론 | 6/6 (100%) | 15/15 (100%) |
| 빈칸추론(구) | 25/37 (67.6%) | 4/5 (80.0%) |
| 어휘추론 | 8/9 (88.9%) | 7/12 (58.3%) |
| 문장삽입 | 9/21 (42.9%) | 9/21 (42.9%) |
| 제목추론 | 6/15 (40.0%) | 3/6 (50.0%) |
| 장문(어휘) | 3/9 (33.3%) | 3/12 (25.0%) |
| 순서배열 | 4/21 (19.0%) | 5/21 (23.8%) |
| 주제추론 | 1/11 (9.1%) | 0/10 (0%) |
| 어법성판단 | 0/15 (0%) | 0/6 (0%) |
유형마다 방향이 갈리고, 차이도 대부분 몇 문항 수준이다. 함의추론은 2점이든 3점이든 모두 패러프레이즈함정이었고, 어법성판단은 둘 다 0이었다. 칸마다 표본이 5～21문항이라 칸 하나의 비율을 일반화하기는 어렵다. 이 표로 말할 수 있는 것은 「3점이라서 패러프레이즈가 늘어난다」고 쓸 근거가 없다는 데까지다.
다른 두 묶음도 같은 9개 유형에서 세 보았지만, 해당 문항이 적어 결론을 낼 수 없었다.
| 묶음 (9개 유형) | 2점 | 3점 | 층화 공통 오즈비(3점 대 2점) |
|---|---|---|---|
| 범위·부분 함정 | 14/144 (9.7%) | 2/108 (1.9%) | 0.24 (95% 신뢰구간 0.05～1.28, p = 0.08) |
| 논리비약·인과역전·문법위장 | 24/144 (16.7%) | 18/108 (16.7%) | 2.49 (95% 신뢰구간 0.86～7.20, p = 0.10) |
범위·부분 함정은 같은 유형 안에서도 2점 쪽이 많았지만 해당 문항이 모두 16개뿐이고 신뢰구간이 1을 넘나든다. 논리·문법 묶음은 합산 비율이 같았지만, 문장삽입에서 2점 1/21, 3점 8/21로 갈린 영향으로 층화 오즈비는 3점 쪽으로 기울었다. 이 역시 신뢰구간이 넓다. 두 묶음은 「같은 유형 안에서 배점에 따라 다르다」고도 「같다」고도 말할 수 없다.
이 글의 초고에는 「3점 내용일치(실용문) 10문항 중 패러프레이즈 0」 같은 칸이 있었다. 그 10문항은 모두 2015～2018학년도의 27·28번이었고, 원본 문제지로 10문항을 모두 열어 보니 실용문이 아니라 어법 9문항, 어휘 1문항이었다. 번호로 붙인 라벨이 만든 칸이라 이번에 뺐다.
이 집계로 말할 수 있는 것과 없는 것
말할 수 있는 것은 이렇다. 평가원 영어 읽기 1,008문항에 저희 태그를 붙여 세면, 전체로는 2점과 3점의 함정 구성이 달랐다. 범위·부분 함정은 2점 쪽에, 패러프레이즈함정과 논리·문법 묶음은 3점 쪽에 비율이 높았다. 그러나 2020～2026학년도 21회에서 9개 유형을 맞추면 패러프레이즈 비율은 거의 같았고(층화 오즈비 0.89, 95% 신뢰구간 0.46～1.73, 3점 최다 유형인 빈칸추론(절)은 제외), 범위·부분 함정이 많이 붙은 유형은 그 기간에 3점으로 나온 적이 없었다. 범위·부분 함정과 논리·문법 묶음은 유형을 맞추면 해당 문항이 적어 어느 쪽으로도 결론을 내지 못했다.
말할 수 없는 것도 있다.
- 함정유형은 AI 모델이 붙인 저희 태그이고, 사람이 다시 태깅한 일치율은 재지 않았다. 태그 정의(12종)는 저희 분석 프롬프트에 있는 것이며 평가원 기준이 아니다.
- 문항마다 대표 함정 1개만 붙인 집계라, 한 문항 안의 여러 오답 선지가 각각 어떤 함정인지는 담겨 있지 않다. 학생이 실제로 고른 오답의 통계도 아니다. DB의 오답률 열은 평가원 1,620행 중 135행에만 있어 쓰지 않았다.
- 유형 라벨이 번호 기준이라 유형별 비교는 2020학년도 이후 21회로만 했다. 그 이전 15회의 유형별 결과는 이 글에 없다.
- 학력평가 문항은 넣지 않았다.
- 평가원이 어떤 기준으로 3점을 배정하는지에 대한 공식 설명은 이번에 찾지 않았다.
그래서 이 글의 결론은 「3점은 패러프레이즈를 노린다」가 아니라 이것이다. 3점 문항을 볼 때는 배점보다 먼저 유형을 보라. 같은 유형 안에서 비교할 수 있었던 패러프레이즈함정 비율은 2점과 3점이 거의 같았다. 다른 태그는 유형을 맞추면 문항이 적어 비교를 마치지 못했다. 이 읽기 방식이 점수를 올리는지는 측정하지 않았다.
출처: 코그닉스랩 자체 DB gichul_e_db_enriched.csv(영어 enriched) — 평가원 6월모평·9월모평·수능, 2014～2025년 시행(2015～2026학년도) 영어 읽기 1,008문항. 배점은 평가원 영어 문제지 원본(36회 중 35회)의 [3점] 표시와 대조했다. 검정은 scipy.stats.chi2_contingency.
이 글은 코그닉스랩의 자체 조사·집계로 작성되었습니다. 출처: 수능영어 3점 문항은 함정이 다를까 — 평가원 읽기 1,008문항에 붙인 자체 태그로 세어 보니 — 코그닉스랩