“킬러 문항은 없었고 변별력은 있었다.” 2023년 11월16일 수능을 치른 뒤 한국교육과정평가원(평가원)은 이렇게 자평했다. 올해 처음으로 수능 출제 기조 분석을 한 EBS 현장교사단, 유명 학원 관계자들도 비슷한 평가를 내놓았다. 이번 수능은 2023년 6월 윤석열 대통령이 ‘킬러 문항을 배제하라’고 지시한 뒤 치른 첫 시험이다. 교육부가 대책을 마련하고 평가원장이 교체되는 등 홍역을 치렀다. 윤석열 대통령은 이 시험을 정부의 올해 성과 중 하나로 꼽았다. 12월26일 2023년 마지막 국무회의에서 “대입 수능시험에서 킬러 문항을 배제해 공정한 경쟁의 장을 만들었고 (중략) 교육 현장도 정상화해나가고 있다”라고 말했다.

〈시사IN〉은 이번에 치른 2024학년도 국어 시험 문항을 짚어보기로 했다. 여러 영역 중 국어를 눈여겨본 이유는 첫째, 윤석열 대통령이 콕 집어서 비판한 과목이기 때문이다. 대통령은 2023년 6월15일 “과도한 배경지식을 요구하거나 대학 전공 수준의 (국어) 비문학 문항”을 비판했다. 이튿날 대통령실은 대통령이 “공교육 교과과정에서 아예 다루지 않는 비문학 국어 문제나 학교에서 도저히 가르칠 수 없는 과목 융합형 문제”를 지적했다고 밝혔다. 국어 킬러 문항을 “사교육으로 내모는” 원흉으로 지목한 것이다. 둘째, 올해 난도가 특히 높았던 과목이기 때문이다. 이번 시험은 전 영역 만점자가 한 명으로, 이른바 ‘불수능’이라고 불린다. 그중에서도 국어는 단연 어려웠다. 최고 표준점수가 150점으로 지난해보다 16점 올랐다(같은 만점이라도 시험이 어려울수록 표준점수는 높다). 수능 실시 이후 역대 최고 기록(2019학년도)과 동일하다.

‘불수능’ 기조 속 단연 어려웠던 국어

국어 시험에서 킬러 문항은 빠졌을까? 의견이 갈린다. 사교육걱정없는세상의 장승진 정책위원은 “지문 독해를 넘어 연산이나 산술이 필요한 문제들은 빠졌다. 바람직한 조치라고 본다”라고 말했다. 그러나 킬러 문항의 정의 자체가 모호하다고 보는 견해도 있다. 2023년 6월26일 교육부가 밝힌 킬러 문항은 ‘공교육 과정에서 다루지 않는 내용으로, 사교육에서 문제 풀이 기술을 익히고 반복적으로 훈련한 학생들에게 유리한 문항’이다. 교직 경험이 있는 국어교육학 박사 A씨는 “이번에도 고난도 문항은 나왔다. 이건 왜 킬러 문항이라고 하지 않는지 의문이 든다. ‘지문에 교육과정에서 다루지 않은 용어가 나와 어려우면 킬러 문항’ 정도의, 평가자의 주관이 반영된 개념이 앞으로도 유효할지 잘 모르겠다”라고 말했다. 다만 A 박사는 이번 수능시험의 스타일을 긍정적으로 봤다. “이전의 이른바 킬러 문항은 비문학에 너무 치중되어 있었고 너무 어려운 개념이 지문에 들어 있었다. 정부의 행태에 대한 평가와 별개로 출제자의 고민이 많이 들어간 문제라고 본다.”

역대 시험에 나온 일부 지문의 난도가 지나치게 높았다는 데에는 전문가 대부분이 동의한다. 그러나 몇몇 이들은 ‘어려운 비문학 지문을 줄였으니 킬러 문항은 사라졌다’고 말하는 데에 의문을 제기한다. ‘교육적으로 더 나은 시험’ ‘사교육비 증가세를 줄일 수 있는 시험’이라는 평가도 마찬가지다. 이번 시험이 킬러 문항을 잡으려다 오히려 새로운 문제를 불러왔다는 주장도 나온다.

대표적으로, ‘문항의 질’이 떨어졌다는 지적이 있다. 교사 B씨는 “이번 수능은 사설 모의고사식 문제가 많다”라고 말했다. 수험생은 수능에 대비해 크게 세 종류의 모의 수능시험을 치른다. 6월·9월 평가원 모의고사와 교육청 모의고사, 사설 모의고사다. 같은 수능 대비 문제들이지만 질적 차이가 확연하다는 게 교사와 수험생들의 정론이다. 출제위원의 면면이나 들이는 시간에서 평가원 모의고사를 따라갈 시험이 없다. 수능은 이보다도 한 차원 높다고 평가받아왔다. B씨는 이렇게 말했다. “평가원 시험은 ‘국가대표’라고 생각하면 된다. 쉬워도 어려워도 품위 있다는 느낌을 받는다. 사설 모의고사에는 지엽적인 대목, 중요하지 않은 개념을 비틀어서 묻는 문제가 나온다. 그간 평가원이 출제한 다른 시험과 달리 이번 수능에는 이 방향으로 삐끗한 문항이 몇몇 보였다.”

B 교사는 “평가원스럽지 않은 문항”으로 이번 수능 국어 4~7번 문항(비문학 ‘경마식 보도’ 문제)을 예시로 들었다(〈그림 1〉). 언론의 선거 보도 행태를 다룬 47줄 분량 글에 문제 4개가 딸려 있다. 이 지문은 EBS 수능 교재를 변형한 것이다. 고난도 비문학 지문 대신 EBS 연계 지문을 넣었기에 곧 ‘좋은 문제’일까? B 교사 생각은 다르다. 그는 ‘윗글에서 알 수 있는 내용으로 적절치 않은 것’을 물은 5번 문제를 꼽았다. 3번 선지 ‘국민의 알권리와 언론의 자유가 서로 충돌하는지의 문제를 헌법재판소에서 논의한 적이 있다’가 정답이다. 지문의 ‘이러한 규정이 국민의 알권리와 언론의 자유를 침해하는지에 대해 헌법재판소는 신뢰할 수 있는 여론조사 결과라 하더라도 선거일에 임박해 보도하면 선거에 영향을 끼칠 수 있다며 합헌 결정을 내렸다’는 대목과 어긋난다는 것. B 교사는 “지문에 국민의 알권리와 언론의 자유에 대한 내용은 나오지만 그 충돌 여부를 논의한 건 아니라는 걸 간파해야 하는 문제다. 수험생이 잘못 읽었을 때 실수를 유발하게 하는 전형적인 사설 모의고사 스타일 문제라서 눈에 바로 들어왔다”라고 말했다. 사고력을 평가하는 게 아니라 함정을 파고 실수 여부를 점검하는, 너무 얄팍한 문제라는 것이다.

이어지는 6번 문항을 두고는 “선지가 매우 부자연스럽게 읽힌다”라고 말했다. ‘주요 후보자의 정책이 가진 치명적 허점을 지적하고 좋은 대안을 제시해 유명해진 정치 신인이 선거방송 초청 대상 후보자 토론회에 초청받지 못한다면 ⓐ의 입장은 약화되겠군’ ‘선거방송 초청 대상 후보자 토론회에 참여할 적정 토론자의 수를 제한하는 기준이 국민의 합의에 의해 결정되었기 때문에 자의적인 것이 아니라고 한다면 ⓑ의 입장은 강화되겠군’ 등이 이 문제 선지다. B 교사는 “지문에 있는 표현과 일치시키기 위해, 그러니까 ‘킬러 문항을 없애는 과정’ 탓에 이렇게 썼을 수도 있겠다는 생각이 들었다. 그러나 능숙하지 않은 문장 표현이 난도를 결정하면 곤란하다고 생각한다”라고 말했다.

실제 사설 모의고사 문항을 개발하는 출제위원 C씨도 같은 의견을 내놓았다. 그는 “이번 시험에 이상한 문제들이 여럿 나온 걸 보고 놀랐다. 요즘은 사설 기관에서도 수강생 사이의 입소문 때문에 이런 문제를 잘 내지 않는다”라고 말했다. ‘경마식 보도’ 문제 외에도 그는 선택과목인 화법과 작문, 언어와 매체 문제 등의 선지도 지나치게 지엽적이라고 말했다. 지문에는 자료를 함께 제시했다고 서술했는데 선지에는 ‘순차적으로 제시’했다고 적어 정답(화법과 작문 36번), 지문에서 검색 방식을 바꾸자고 논의했는데 선지에는 ‘검색 자료의 변화’라고 써 정답(언어와 매체 45번)이라는 문제가 나왔다. C씨는 이전의 수능에서 가장 어려운 문제로 꼽혔던 ‘추론 문제’의 난도를 과도하게 낮추려다 보니, ‘쉬워야 할 문제’들의 난도를 부자연스럽게 올렸다고 생각한다. 추론 문제란 지문과 별개의 〈보기〉를 준 뒤 이 관점에 따라 지문을 재해석하는 문제다. C씨는 “이번 수능에는 〈보기〉를 읽지 않고도 풀리거나, 오히려 〈보기〉가 풀이에 방해가 되는 문제들이 여럿 출제됐다”라고 말했다.

문제의 질에 대한 평가는 이견의 여지가 넓은 영역이다. 예컨대 ‘고난도 지문을 해석할 능력’과 ‘지문과 선지 하나하나를 실수 없이 꼼꼼히 점검하는 능력’ 중 무엇이 국어 성취도의 본질에 가까운지를 두고 의견이 갈릴 수 있다. 그러면 정부가 내세웠던 사교육 절감 효과는 어떨까? 이번 수능의 형식이 유지되면 최소한 사교육 증가세는 꺾을 수 있을까? 이번 출제 방향을 긍정적으로 봤던 A 박사조차 여기에 동의하지 않는다. “어떤 지문에 대한 변형 문제를 사교육에서 여럿 풀어보면 배경지식이나 쟁점을 흡수한다. 킬러 문항이 안 나와도 비슷한 사고력을 갖췄다고 가정하면 문제를 많이 경험할수록 잘 풀 수밖에 없다.” 사교육업계 한복판에 있는 C씨는 한 발짝 더 나아간다. 오히려 이번 시험의 출제 방향이 사교육에 더 이로워졌다고 말했다. “이전처럼 지문이 어렵게 나오면 사교육이 할 수 있는 건 별로 없다. 지문에 함정을 파는 게 대비하기에 낫다.” “공교육 교과과정에서 아예 다루지 않는 비문학 국어 문제가 (수험생을) 사교육으로 내모는 것”이라는 윤석열 대통령의 발언과 배치되는 말이다.

“오히려 대비하기 쉽다”는 사교육업계

C씨는 이렇게 말했다. “이번 수능처럼 선지가 꼬여서 나오면 사교육 대응은 간단하다. ‘말장난’에 대비한다.” 경마식 보도처럼 EBS 교재에 실린 지문 모두를 뽑아, 여기서 나올 수 있는 ‘함정’을 수백, 수천 문항 만든다. 이것은 사교육이 가장 잘하는 일이고 반복 훈련으로 키울 수 있는 능력이다. 반대로 어려운 지문이 변별력을 가르면? “그런 어려운 지문을 최대한 예측해서 많이 제공하는 것뿐 결국 현장에서 나올 문제는 알 수 없고, 수험생이 풀어야 한다.”

사교육이 그간 수능 고난도 비문학 지문이나 추론 문제에 대응하는 데 애먹었던 이유는 이렇다. 교사나 학원 강사, 기타 사교육 연구원들의 전문성은 국어 교육과 입시 대비에 있을 뿐, 과학·예술·경제 분야 전문 지식까지 아우르기 어렵다. 이들은 원본 자료를 참고해 발췌·변형하는 방식으로 지문과 문제를 낸다. 반면 수능 출제에는 해당 분야 전문가인 대학교수가 들어간다. B 교사는 전문가들이 “‘다이어트’가 엄청 된 지문을 만들 수 있다”라고 말했다. 독자의 이해를 돕기 위한 부연설명을 전부 빼고 ‘독해에 필요한 최소치의 문장’만 넣는다는 것이다. B 교사는 이렇게 말했다. “지문에 밑줄이 쳐져 있으면 보통 학원에서는 ‘밑줄 앞뒤 내용을 보라’고 가르친다. 그런데 1문단 내용을 바탕으로 추론해야 하는데 밑줄은 3문단쯤에 있는 게 수능 고난도 추론 문제다. 이번 수능에는 이런 문제가 눈에 띄지 않았다.”

평가원은 어째서 이런 출제 방향을 정했을까? 운신의 폭이 좁았다. 난이도 자체를 낮추는 것은 어려웠다. 촘촘한 변별은 수능시험이 포기할 수 없는 목표다. 킬러 문항 관련 방침을 발표한 뒤 일각에서 제기된 ‘물수능’ 우려도 불식해야 했다. 그런데 원장이 갈리고 교육부가 긴급대책을 발표한 상황에서 대통령이 직접 언급한 ‘비문학 지문 난도’는 반드시 떨어트려야 했다. 6월26일 교육부는 ‘오답률이 높다고 전부 킬러 문항은 아니다’라고 발표했지만, 막상 정답률 10%, 20%대의 고난도 추론 문제를 내는 것도 위험했다. 그렇게 ‘쉽지만 어려워야 하는’ 시험을 내야 한다는 목표가 시행 5개월을 앞두고 던져진 것이다. 선지의 문장을 비틀고 얄팍한 함정을 파는, 묘수 아닌 묘수가 나온 배경이다.

현직 국어 교사인 장승진 사교육걱정없는세상 정책위원은 개별 지문이 ‘수능식’ 독해와 결합할 때 문제가 발생한다고 본다. 장 정책위원은 이번에 출제된 ‘잊음을 논함’을 예로 들었다(〈그림 2〉). 18세기 조선 문인 유한준이 쓴 수필인데, ‘잊지 않는 것이 병이 아닌 것은 아니다’ 등 난해한 이중 부정 문장이 수험생들 사이 밈(meme)이 됐다. 장 위원은 이 글 자체는 문제가 아니라고 말했다. “중요한 작품이니까 실었을 것이다. ‘말을 왜 이렇게 꼬아놨어?’라고 느낄 수는 있다. 그런데 문학 작품의 화려하고 다양한 수사는 독자를 더 깊이 생각하게 만들고, 그 결과 어떤 깨달음에 닿게 한다. 하지만 수능 지문은 그렇게 사유해서 읽어도 되는 글이 아니다. 정확한 정보만 캐치하고 선지와 대조해가며 읽어야 한다.”

2023년 12월8일 교육부가 발표한 ‘2024학년도 수능 국어 영역 교육과정 근거’에 따르면, “작품을 공감적, 비판적, 창의적으로 수용하고 그 결과를 바탕으로 상호소통”하는 게 이 지문과 문항의 성취 기준이다. 장 위원은 “수능에서는 이렇게 읽을 수는 없다. 표현의 맛이 뭔지, 왜 굳이 이렇게 어려운 문장을 썼는지 생각하면 풀어낼 수 없는 문제가 된다”라고 말했다. 실제로 수험생 커뮤니티에는 문학 작품의 갈래와 중요 문장만 빠르게 파악한 뒤 ‘기계적으로’ 푸는 요령이 유행하고 있다. 45개 문항을 80분 안에 풀어내야 하는 수능시험의 조건 탓이다. 작품 하나하나 해설하는 학교 수업과 평가 사이에 괴리가 발생하고 있다.

수능은 많은 이들에게 도전받아온 시험이다. ‘수능의 창시자’를 포함한 몇몇 교육학자들은 그 정밀도에 의문을 제기한다. 정확한 지적 성취도를 계측하기 어려운 시험이라는 비판이다(〈시사IN〉 제821호 “공정한 게 아니다 ‘방어’하기 쉬울 뿐” 기사 참조). 현장의 교사 중에는 수능을 비교육적이라고 보는 이들이 있다. 이들은 EBS 교재 풀이를 반복하는 것보다 가치 있는 수업을 해야 한다고 말한다. 이런 여러 의견 가운데, 오직 윤석열 대통령이 갑자기 꺼내든 ‘국어 비문학 지문의 공정성에 대한 비판’만 수용됐다. 그러나 이번 시험을 분석한 이들 사이에서는 평가의 정밀도 제고나 학교 현장 회복은 물론이고 윤 대통령이 목표로 한 사교육 억제 효과마저 장담하기 어렵다는 평가가 나온다.

수능이 ‘킬러 문항을 배제하고도 최상위권 변별력을 확보했다’고 자평한 평가원은 2023년 11월28일 “이의 신청이 들어온 문항 모두 ‘문제 및 정답에 이상 없음’” 판정을 내려 마침표를 찍었다. 2023년 12월7일 교육부가 발표한 2028 대입개편안은 ‘통합형 수능’을 택했을 뿐, 수능을 통한 변별 자체는 건드리지 않았다. 이번 취재에 응한 이들은 모두 익명 처리를 강하게 당부했다. “익명이라도 이런 발언을 하는 것 자체가 조심스러운 상황”이라며 취재를 거부한 이도 있었다. 이견은 물밑에서만 들끓는 가운데 윤석열표 교육개혁은 순조롭게, 알 수 없는 곳으로 표류할 전망이다.