스탠퍼드 대학 등은 가끔 자신들의 ‘질문-응답 자료집’을 활용한 ‘인공지능 독해력 대회’를 연다. 한국의 삼성전자, 미국 페이스북, 마이크로소프트, 중국 알리바바 등 글로벌 IT 업체들이 치열하게 경합하며 선두를 다툰다. 지난해 말부터 인공지능이 독해력 부문에서 인간을 따라잡았다는 자극적 기사들이 나온다. 전문가들 대부분은 이런 언론 보도에 코웃음을 친다. ‘질문-응답 자료집’들로 ‘컴퓨터가 인간처럼 독해할 수 있느냐’를 측정할 수는 없다는 것이다.

마이크로소프트 사의 질문-응답 자료집인 MCTest는 500여 개의 짧은 이야기와 2000여 개 질문으로 구성되어 있다. 다만 이야기에 담긴 ‘세계에 대한 지식(the world knowledge)’과 질문은 ‘어린이가 이해할 수 있는 수준’이다. 페이스북의 CBT 역시 어린이 책에서 20개의 연속된 문장을 발췌한 내용이다. 21번째 문장의 한 단어를 공백으로 남겨놓고 이를 채우게 한다. 각 질문에는 10개의 ‘후보 답변’이 달렸는데, ‘said(말했다)’를 고르면 정답률이 매우 높아진다. 스탠퍼드 대학의 SQuAD는 위키피디아 등 500여 개 문서에서 발췌한 글과 10만여 개 ‘질문-응답’ 뭉치로 이뤄졌다. 현실과 비슷하도록 실제 누리꾼들이 질문과 응답을 작성하게 했다. 다만 발췌문 수가 많지 않은 데다 너무 짧은 것이 문제다.

독해력 대회에 사용되는 질문-응답 자료집은 나름의 편향과 목적, 한계가 있다. 인공지능이 사람보다 높은 점수를 받았다고 ‘기계의 독해력이 사람보다 우수하다’라고 단정 지을 수 없다는 이야기다. 더욱이 ‘질문에 응답하는 것’은 인간 독해력과 추론 능력의 아주 작은 부분에 지나지 않는다. 퀴즈 대회에서 인공지능이 사람보다 높은 점수를 얻었다고 컴퓨터의 지성이 인간보다 우수하다고 말할 수 없는 것과 마찬가지다. 퀴즈는 종합적 사고보다 ‘정보의 조각’을 빨리 ‘탐지’해야 이길 수 있는 게임이기 때문이다.