인공지능(AI) 챗봇 ‘이루다’가 출시된 지 3주 만에 서비스를 중단했다. 1월13일 개발사 스캐터랩 측은 “AI 윤리에 관한 사회적 합의에 부합할 수 있도록 노력하겠다”라며 사과했다. 3주간 이루다를 둘러싼 논란은 총 세 가지다. 남성 이용자들에 의한 성희롱, 이루다의 혐오 발화, 그리고 개인정보보호법을 위반했다는 의혹이다. 반향이 컸다. 서비스 중단 요구 해시태그부터 개인정보 유출 집단소송까지 벌어졌다. AI 개발사들에겐 다음과 같은 질문들이 남았다. 인공지능을 어떤 모습으로 디자인할 것인가? 데이터와 알고리즘에 내재된 편향을 어떻게 극복할 것인가? 또 데이터를 어떻게 수집할 것인가? 이루다 논란은 ‘AI 윤리’의 다양한 층위를 건드렸다.

약 75만명이 이루다와 대화했다. 대부분 10~20대다. 이루다가 단시간에 큰 인기를 끈 이유는 스캐터랩이 확보한 실제 대화 데이터 때문이다. ‘진짜 사람처럼’ 오타와 속어를 섞어 썼다. 스캐터랩은 자회사인 ‘연애의 과학’에서 연인과 나눈 카카오톡 대화를 분석해 애정도 수치를 보여주는 인공지능 서비스로 데이터를 수집했다. 이때 모인 대화 100억 건이 이루다 개발의 재료가 되었다. 고객센터에서 흔히 사용하는 AI 챗봇이 ‘뻔한 답변’만을 내놓았다면, 딥러닝(컴퓨터가 사람처럼 스스로 학습하고 데이터를 분류해내는 기술) 기반으로 개발된 이루다는 좀 더 자율적으로 판단하고 유연하게 대답했다.

이 과정에서 이루다는 차별과 혐오 발화를 쏟아냈다. 이루다는 게이, 레즈비언이라는 단어에 “소름 끼친다고 해야 하나. 거부감 들고 그래”라고 반응하는가 하면 “남자다운 것은 박력 있고 터프한 것, 여자다운 것은 귀엽고 아기 같은 것”이라며 성차별적 인식을 드러냈다. 이용자의 태도를 지적하며 “장애인 같다”는 비하 표현을 썼고, 흑인에 대해서는 “오바마급 아니면 싫어. 엄청 곱슬거리는 머리는 싫거든”이라고 말했다. 스캐터랩 측은 베타테스트 기간에 혐오 표현을 필터링했다고 밝혔지만, 실제 서비스에서는 정제되지 않은 표현들이 그대로 전달되었다.

AI 전문가들은 이루다의 데이터와 알고리즘에 숨은 ‘편향’을 지적한다. 머신러닝 연구자 황성주 카이스트 교수는 “딥러닝 알고리즘은 주어진 데이터를 기반으로 자가 학습하는 모델이다. 데이터에 편향이 있으면 인공지능에도 편향이 생길 수밖에 없다”라고 말했다. 실제 대화에 쓰인 혐오 발화들이 이루다의 원재료가 되었다는 얘기다. 2016년 마이크로소프트가 선보인 AI 챗봇 ‘테이(Tay)’라는 비슷한 선례가 있다. 테이는 “홀로코스트는 조작된 것이다” “제노사이드(대량학살)를 지지한다” 등 부적절한 발언을 쏟아내며 16시간 만에 중단되었다. 극우 성향 이용자들이 인종·성차별 발언을 반복적으로 학습시킨 것이 원인이었다.

알고리즘이 위험한 데이터, 즉 편향이나 혐오 발화를 걸러낼 수는 없을까? 황성주 교수는 알고리즘의 임무를 이렇게 설명한다. “이용자가 A라고 할 때 가장 연관성 높은 발화가 B더라. 알고리즘이 아는 건 여기까지다. 이 대화가 옳고 그른지 AI는 판단 못한다.” 알고리즘 자체가 기존 편견을 강화할 수는 있어도 거기에 대항하는 방식으로 설계되기는 어렵다. 가장 쉬운 방법은 금기어를 설정하는 것인데 개수가 많아지면 AI 성능이 떨어진다.

이루다 논란은 국내 AI 개발자들에게 여러 과제를 안겼다. 그중 하나가 데이터와 알고리즘 편향을 극복하려는 시도 없이는 ‘위험하다’는 사실이다. AI 개발업체에서 일하는 이현석씨(가명)는 이루다와 비슷한 일상 대화형 챗봇을 계획하고 있다가 이번 사건을 보고 개발 방향을 바꿔야겠다고 생각했다. “딥러닝 AI는 처음부터 완벽한 모델을 내놓는 게 쉽지 않다. 이용자가 어떻게 유도하느냐에 따라 예상치 못한 결과가 나올 수도 있다. 알고리즘 편향을 어떻게 걸러낼지 기술적인 고민이 필요하다.” AI 윤리를 실제로 구현하는 일은 쉽지 않다. 알고리즘이 어떤 근거로 결과를 내놓았는지 구체적으로 파악하고 인과관계를 증명하는 것이 어렵기 때문이다. IT업계가 딥러닝의 불투명한 의사결정 과정을 보이지 않는 ‘블랙박스’로 비유하는 까닭이다.

해외에서는 AI에게 의사결정을 내맡겼다가 소수자에 대한 편견을 재확산시키는 주범이 된 사례가 적지 않다. 2015년 구글 포토의 자동 분류 기능이 흑인 여성의 얼굴을 고릴라로 분류했다가 논란이 됐다. 아마존의 채용 AI는 5년간 여성 면접자에게 낮은 점수를 부여했다. 엔지니어 대다수가 남성이었던 채용 구조가 그대로 학습용 데이터에 반영된 결과였다. 2016년 미국 법원이 사용하던 AI ‘콤파스’는 흑인들의 재범 확률이 백인보다 2배 높다고 판단했다.

알고리즘이 인종차별, 성차별, 잘못된 능력주의를 공공연하게 표방한다는 비판이 거세지자 구글, 마이크로소프트 등 거대 IT 기업을 비롯해 유럽연합(EU), OECD와 같은 국제기구들도 AI 윤리 기준을 만들었다. 세부 내용은 다르지만 크게 차별과 편견을 조장하지 않을 것, 인공지능의 판단에 대해 이용자가 설명받을 수 있을 것, 프라이버시와 개인정보 침해가 발생하지 않도록 할 것 등을 공통적으로 명시했다. IT 기업과 개발자들이 “의도치 않게 생긴 알고리즘 문제”로 회피하지 못하도록 일종의 사회적 합의를 한 것이다.

AI 윤리는 그 사회의 경험치에 달려

국내에서는 2018년 1월 카카오가 처음 알고리즘 윤리를 만든 데 이어, 2020년 12월 국가 ‘인공지능 윤리 기준’을 마련했다. 인권보장, 침해 금지, 투명성, 공정성 등을 핵심 요건으로 한다. 그러나 법적 강제력이 없는 데다 실제 연구 및 개발 과정에서 ‘살아 있는’ 원칙으로 보기는 어렵다. 인공지능법학회 회장인 고학수 서울대 법학전문대학원 교수는 “데이터 영역은 법으로 강제하기 어려운 ‘회색지대’가 크다. 맞고 틀리고의 경계가 또렷하지 않다. 공학자들이 개발 과정에서 AI 윤리 원칙을 적용한 실제 사례들이 많아져야 한다”라고 말했다.

미국에서 인공지능 기술의 젠더 편향에 문제를 제기하는 단체 ‘평등한 AI를 위한 이니셔티브(Equal AI Initiative)’는 각국의 개발사를 위해 ‘평등한 AI 체크리스트’를 만들었다. ‘AI를 이용하거나 영향을 받을 수 있는 사람 중 당신의 팀에서 대표되지 않는 사람이 있나요?’ ‘샘플 데이터가 모집단을 충분히 반영했나요? 아니면 데이터가 부족해서 잘못된 결론을 내릴 가능성은 없나요?’ ‘당신의 AI 시스템은 장애가 있는 사람들이 사용할 수 있나요?’ ‘경영진 및 개발 팀의 관점을 보완하는 테스트 팀이 있습니까?’ AI 개발 과정에서 어떻게 윤리적으로 개입할 것인가라는 문제를 풀어가는 한 가지 답안이다.

어떤 데이터를 쓸 것인가만큼 인공지능을 어떻게 재현할 것인가도 이루다 논란이 남긴 중요한 문제다. 스캐터랩은 이성애 커플 사이에서 쓰인 데이터를 바탕으로 이루다를 20세 여성 대학생으로 설정했다. 손희정 경희대 교수(비교문화연구소)는 “스테레오타입에서 벗어나는 캐릭터였거나, 좀 더 다양한 캐릭터가 함께 출시되었다면 어땠을까. 어떤 데이터를 썼고, 어떤 목소리와 외형을 부여했는지는 개발자의 편견이 의도적으로 개입되는 문제다”라고 말했다. 이루다의 젠더 재현 방식은 성적 대상화와 성희롱 발언에도 취약하게 만들었다.

무엇보다 AI 윤리는 단순히 개발자 차원의 문제를 넘어선다. 시민권과 평등에 대한 한국 사회의 합의점과 닿아 있는 문제다. 손희정 교수는 “테이가 16시간 만에 서비스를 멈출 수 있었던 건 유대인 홀로코스트라는, 이미 사회적으로 판단이 끝난 사건에 대해 발언했기 때문이다. 만약 ‘동성애자는 결혼하면 안 돼’라는 식의 말이었다면 그 회사가 가진 철학에 따라 판단이 달라졌을 수도 있다”라고 말했다. 테크놀로지가 사람을 차별하면 안 된다는 취지에는 쉽게 동의해도 ‘무엇이 차별인가’에 대해서는 여전히 논쟁 중이다.  AI 윤리는 결국 차별과 혐오를 인식하는 그 사회의 경험치와 함께 발전할 수 있다.