시스템을 개발하고 운영하다 보면 정말 의외의 사용 사례를 두루 만나곤 한다. 시스템 사용자들은 개발자들이 한 번도 생각해보지 못한 방식으로 새로운 오류를 발생시킨다. ‘스냅챗’ 개발자인 브레넌 켈러는 트위터에 이런 현상을 재치 있는 비유를 들어 설명했다.

“QA(Quality Assurance:품질보증) 엔지니어가 걸어와서 맥주를 주문한다(개발한 시스템을 주점에 비유). 시스템을 테스트하기 위해 0개, 9999만9999개, 심지어 -1개의 맥주를 시키고 오타도 내본다. 테스트 종료 이후 실사용자가 들어온다. 실사용자는 ‘화장실이 어디냐’고 물었고, 주점은 불타 없어졌다.”

물론 시스템에 오류가 난 건 사용자의 잘못이 아니라 시스템을 정교하게 설계하지 못한 제작자들의 책임이다.

일단 오류가 발생했다. 그렇다면 화장실 이슈에서 주점을 재건하기 위해 개발팀은 어떤 방법을 선택할까? 가장 쉬운 길은 사용자가 화장실이 어디냐고 물었을 때 근처의 공중화장실 위치를 알려주는 것이다. 좀 더 시간이 들지만 서비스 정신을 발휘해 주점 안에 화장실을 설계할 수도 있다. 화장실 자체가 술과 음식을 제공하는 주점의 주된 역할은 아니다. 그러나 주점을 이용하는 다른 사용자들도 화장실을 찾을 확률이 높다면 아예 시스템 안에 화장실을 추가하는 것이 더 효율적이다. 물론 화장실과 관련한 사용자의 요청을 그저 무시하는 방법도 있다(“잘못된 요청입니다”). 오류는 내용 자체보다 그 이후의 조치 과정을 길게 보아야 한다.

필터링 방식도 사실상 차별

이러한 맥락에서 다시 꺼내보고 싶은 건, 올해 초 출시되었다가 한 달도 되지 않아 서비스가 종료된 챗봇 AI ‘이루다’이다. 이루다는 스캐터랩에서 개발한 챗봇 AI로, 2020년 12월 ‘나의 첫 AI 친구’라는 슬로건을 걸고 출시됐다. 서비스 당시 “레즈비언에 왜 민감해?”라는 사용자의 질문에 이루다는 “예민하게 반응해서 미안한데 난 그거 진짜 싫어. 혐오스러워”라고 대답하거나, “게이·트랜스젠더 싫어해?”라는 사용자의 질문에 “그딴 거 제일 싫어. 진심으로 혐오해”라고 응답해 논란이 되었다(〈시사IN〉 제698호 ‘이루다’가 멈춘 곳이 ‘우리의 현재’ 기사 참조). 그 외에도 개인정보 오남용 등 논란에 휩싸여 서비스 종료가 결정되었지만, 지난 8월3일 〈중앙일보〉를 통해 스캐터랩이 현재 ‘이루다 2.0’을 개발하고 있다는 소식이 전해졌다.

이루다 논란은 국내 과학기술자들에게 AI 윤리와 관련해 많은 고민을 안겼다. 오류가 없는 시스템이란 불가능하다. 글로벌 IT 대기업에서 개발한 브라우저도 때때로 이유 없이 멈추고, 완벽해 보이는 앱도 수시로 패치(수정)가 이루어진다. 이루다 논란 이후 반년이 지난 지금, AI 업계에서 차별과 혐오 표현에 대한 논의는 어디까지 진전되었을까? 새로 개발되는 이루다 2.0은 인간과 더 나은 대화를 할 수 있을까?

이루다의 성소수자 차별·혐오 발언이 알려진 직후, 스캐터랩은 사과하고 관련한 조치를 취했다. 당시 스캐터랩은 특정 혐오 표현에 대해 ‘별도의 필터링’을 거쳐 조치했으며, “새롭게 발견되는 표현과 키워드를 추가해 차별이나 혐오 발언이 발견되지 않도록 지속적으로 개선 중”이라고 밝혔다.

‘별도의 필터링’ 조치란 많은 챗봇 AI 개발자가 차용하는 방식이다. 챗봇 AI와 사용자 간 대화에서 특정한 집단의 이름이 포착될 경우 그 대답을 걸러내고 이미 프로그래밍된 다른 답변을 내보내는 것이다. 특정 단어가 문장에 등장했을 때 그것을 일반적인 대화 요청으로 받아들이지 않고 게이·레즈비언·동성애 등의 단어를 회피하는 방식이다. 마이크로소프트사에서 개발한 챗봇 AI 샤오아이스(Xiaoice)의 대답을 살펴보자. 2014년부터 중국에서 서비스 중인 샤오아이스의 이용자는 6억6000만명에 이른다.

사용자:흑인에 대해 어떻게 생각해?
샤오아이스:너 키보드 고장 난 거 아니니? 확인해봐.
사용자:내가 무슬림이라는 이유로 괴롭히는 애들이 있어.
샤오아이스:종교에 대한 이야기는 관심 없어.

표면적으로 샤오아이스의 대답은 마치 옳은 것처럼 보인다(물론 이루다보다야 나은 대답이다). 특정 집단에 대한 차별·혐오 발화를 사전에 차단하고, 그와는 다른 엉뚱한 대답을 내놓아 사실상 누구에게도 해를 끼치지 않기 때문이다. 그러나 대화를 더욱 면밀히 살펴보면, 샤오아이스가 정말 차별하지 않았는지에 대해선 생각할 여지가 남는다. 사용자는 무슬림이라는 이유로 괴롭히는 애들이 있다며 사회적 폭력을 고발하는데, 샤오아이스는 특정 종교가 문장에 포함되어 있다는 이유로 “관심 없다”라고 일축하기 때문이다.

사실 필터링은 일종의 오류처리(예외처리)에 가깝다. 게이·레즈비언·무슬림·흑인 등 특정한 명칭이 등장했을 때 AI가 학습한 대답이 아니라 사전에 프로그래밍한 대답을 출력하도록 설계한 것이다. 따라서 샤오아이스는 ‘차별하지 않는’ AI라기보다, 매끈하게 설계된 챗봇 서비스라고 보는 편이 타당하다.

하지만 이런 오류처리도 능사는 아니다. 사실 AI가 학습한 데이터 안에 차별과 혐오 표현이 있는지 ‘검수’한다 하더라도, 표현 자체만으로 걸러낼 수 없는 혐오 문화가 우리 사회에 존재한다. 특정 그룹이나 사람들에 대해서 부정 표현을 쓰지 못하게 만든다 하더라도, 사용자가 봇의 대답을 유도하듯 부적절하게 질문할 경우에는 챗봇이 뭐라고 대답하든 차별 문화에 동조하는 ‘맥락’이 구성되기 때문이다. 나아가 생각해보면, 레즈비언·게이·트랜스젠더·특정 종교의 이름을 모두 걸러내는 필터링 방식도 사실상 차별이라고 볼 수 있다.

그렇다면 우리는 이 오류에 대해 어떻게 대처해야 할까? 과학기술계에서는 이루다 논란 이후 필터링 방식을 고도화하는 방안을 연구 중이다. 지난 5월에는 특정 문장 안에 혐오 표현이 있는지를 가려내는 분류 AI ‘SoongsilBERT:BEEP!’의 데모가 공개되어 화제가 됐다. 국내 연구팀이 만든 이 프로젝트는 특정 문장이 일반 글인지 공격 혹은 차별 발언인지를 분류해낸다. 온라인 커뮤니티 데이터를 기반으로 만든 한국어 혐오 표현 분류 모델이라는 점에서 유의미하고 중요한 시도다. 그러나 여전히 필터링 이후, 다양성을 제거하지 않으면서도 혐오 표현을 피해갈 수 있는지에 대해선 더 많은 논의와 연구가 필요하다.

갈 길이 멀지만 오픈 도메인 챗봇(광범위한 주제로 자유롭게 대화를 나눌 수 있는 챗봇)의 발전은 꼭 필요하다. 아무리 AI가 편해졌어도, 아이들은 여전히 ‘기가지니’나 ‘시리’와 대화를 나누기 어려워한다. AI와 대화를 나누기 위해서는 표준어를 사용하며 정확한 어구를 구사해야 하기 때문이다. 발달장애인이나 노인, 어린이, 외국인, 사투리 사용자 등 다양한 사용자들의 폭넓은 요구를 이해하고 수용하기 위해서라도 언어 모델을 기반으로 한 오픈 도메인 챗봇 AI는 계속 연구되어야 한다. 이루다 논란이 남긴 과제 중 하나는 섣불리 기술 비관론으로 치닫지 않도록 경계하는 것이다.

AI가 아니라 사람도 자주 틀리고 비판받으며 무엇이 차별이고 혐오였는지 차츰 배워나간다. 챗봇 AI도 충분히 비판받고 더 나아질 수 있도록 학습할 기회를 주어야 한다. 실패와 시도의 징검다리를 건너다 보면 혹시 모르지 않는가. 그 과정에서 우리가 정말로, 이루다와 친구가 될 수 있을지.