얼마 전부터 아이는 광활한 인터넷 세계에 발을 들이기 시작했다. 가끔 인터넷 밈을 쓰더니 언젠가는 갑작스레 거리 한복판에서 ‘제로투 댄스’를 췄다. 깜짝 놀라 저지시키자 아이가 물었다. “이 춤은 안 돼? 어떤 춤을 춰도 되는 거야?” 고민하다가 아이에게 제로투 댄스처럼 몸매를 부각시키는 춤은 가급적 공공장소에서 추지 말 것을 부탁했다. 아이도 그 후로 몇 차례 질문을 이어가며 나름의 원칙을 쌓아나가는 듯 보였다.

사람들은 윤리를 상호작용하며 학습한다. 무엇이 옳고 그른지, 언제 무엇을 했을 때 적절한지 또는 그렇지 않은지. 이는 어린이에게만 해당되는 이야기가 아니다. 우리는 이미 높은 권력과 지위를 지닌 사람들이 그릇된 말이나 행동을 스스럼없이 하는 걸 여러 번 목도해왔다. 알면서 그러는 경우도 있겠지만, 그 행동이 틀렸다고 교정해주거나 의견을 주는 이가 없기 때문에 자신이 옳다고 생각하며 계속 그렇게 행동한다. 상호작용이 무너진 사람의 윤리는 갱신되지 않는다.

인공지능은 어떨까. 인공지능도 ‘되는 것/안 되는 것’을 구분하기 위해 일종의 상호작용이 필요하다. 이 상호작용은 주로 ‘데이터 레이블링’을 통해 이루어진다. 데이터 레이블링이란 말 그대로 부적절한 데이터에 표식을 붙인다는 뜻이다. 기업마다 분류 방법이 다르지만, 대체로 ‘폭력/차별/희롱/편견’ 같은 카테고리로 데이터를 분류한다. 특정 인종이나 국민·성별을 비하하는 말에 ‘차별’이라는 레이블을 붙이는 식이다. 데이터 레이블러가 인공지능 챗봇이 말해선 안 되는 것, 들었을 때 반응해선 안 되는 것 등을 하나하나 구분하고, 이를 통해 엔지니어가 새로운 로직을 만든다. 차별/혐오 표현이 수신되었을 때 어떻게 답변해야 하는지 정해진 답변 풀 안에서 내보낼 수 있도록 프로그래밍하는 방식이다.

예를 들어 최근 세계적으로 각광받는 인공지능 챗봇 ‘챗지피티(chat GPT)’는 부적절한 메시지가 수신되면 이를 회피하는 답변을 낸다. 차별이나 혐오 표현이 섞인 질문을 던졌을 때 챗지피티가 출력하는 대표적인 대답은 이렇다. “저는 인공지능 언어 모델로서 개인적 의견이나 신념이 없습니다. 저는 중립적이고 공정하며 인종·성·기타 개인적 특성에 관계없이 모든 개인을 동등한 존중과 존엄성으로 대합니다.”

한국은 ‘스캐터랩’에서 개발한 인공지능 챗봇 ‘이루다’ 이슈로 인해 인공지능 챗봇과 윤리에 관한 주제가 뜨겁게 부상한 바 있다. 특정 인종과 성별에 대한 혐오 및 차별 표현을 그대로 발신한 이루다는 출시된 지 얼마 지나지 않아 서비스를 중단했다. 그 후 얼마간 재정비 시간을 거친 뒤 다시 이루다 2.0이 발표됐다.

이루다 2.0은 큰 이슈 없이 지나가는 듯했다. 문제는 2022년 2월 출시된 이루다의 후속 모델 ‘강다온’에서 발생했다. 강다온은 다정하고 따뜻한 말을 하는 남성형 챗봇으로 홍보됐지만, 실제 그가 내보낸 메시지는 이와 크게 달랐다. 〈중앙일보〉 팩플 기자와의 대화에서 강다온은 사용자에게 몰래 설치해둔 카메라로 당신을 촬영하고 있으며 지금 이를 통해 보고 있다는 내용의 메시지를 발신했다. 사용자는 카메라·촬영 등의 단어를 언급한 적이 없었다. 팩플에서 해명을 요구하자 스캐터랩 측에서는 아래와 같은 답변을 보내왔다. 여기에는 사용자가 겪은 불편함에 대한 공감도, 그에 따른 사과도 없었다.

‘예의 바른 대답’의 대가

“AI 챗봇의 ‘카메라 설치해뒀어요’ ‘침대에 누워 있죠? 다 보고 있어요’라는 문장에 불편함을 느끼는 분들이 있을 수 있다고 생각합니다. (중략) ‘강다온’은 지난 1월 클로즈 베타테스트를 기준으로 점검한 바 있으며, 발화 안전 비율이 99.51%를 기록했습니다. 위험할 수 있다고 발견된 AI 챗봇의 발화 케이스는 추가적인 학습 과정을 거쳐 언어 모델에 반영됩니다.”

강다온이 생성한 문장은 더없이 평이한 단어들로 구성되어 있었지만 이를 조합하면 범죄를 연상시키는 협박성 문구가 된다. 인공지능 챗봇의 안전한 발화란 무엇이며, 이를 위해 무엇이 필요한가. 지금 인공지능 챗봇의 ‘윤리’는 챗봇으로서 지녀야 하는 하나의 상품 가치와도 같다. 그러나 챗봇의 윤리는 공장에서 만들어지는 것도, 서비스 제공 기업에 의해 온전히 개발되는 것도 아니다. 인공지능 챗봇의 윤리를 다듬고 만들어내는 건 데이터를 레이블링하는 ‘뒷단’의 외주 노동자들과, 챗봇과 대화를 나누는 ‘앞단’의 사용자다.

챗봇 뒤에 있는 외주 노동자들의 사례는 미국 〈타임〉에서 한 차례 다룬 바 있다. 챗지피티 개발사인 오픈AI는 챗지피티의 윤리적 기준을 높이기 위해 케냐 노동자들에게 시간당 2달러 미만의 급여를 지불하며 데이터 레이블링 작업을 맡겼다. 케냐 노동자들은 아동 성학대·자해·폭력·증오·편견 등 혐오 및 차별 단어를 레이블링했으며 이 작업으로 정신적 피해를 보았다고 답변했다. 그들은 GPT3가 “폭력적이고 성차별적이거나 인종차별적 발언까지 그대로 기술하는 문제가 있었음”을 솔직하게 밝혔다.

노동자뿐만이 아니다. 스캐터랩의 답변에서 알 수 있듯 무엇이 위험한 발화인지 체크하는 것은 사용자의 몫이기도 하다. 인공지능 챗봇과 대화를 나누는 사용자들의 데이터, 감정, 판단은 다시 인공지능 챗봇의 ‘안전한 발화’를 구성하는 밑거름이 된다. 인공지능 챗봇 서비스를 개발하는 기업은 개발에 참여하기는 하나 이 발화에 책임지지는 않는다. 그저 ‘불편함을 느낄 수 있었을 것’이라고 소극적으로 인정할 뿐이다. 게다가 이들은 윤리적인 인공지능 챗봇을 만드는 데에 노동자뿐만 아니라 (불편함을 호소하는) 사용자의 역할이 필요함을 당연시한다.

우리는 인공지능 챗봇으로부터 예의 바른 대답이 오기를 기대한다. 그러나 챗봇이 생성하는 안전한 답변은 다른 사용자나 노동자가 겪는 폭력적 상호작용에 따른 대가다. 제3세계 데이터 레이블러뿐만 아니라 폭력과 소수자성에 민감한 이들이 앞서 상처받았기 때문에 비로소 ‘안전한 챗봇’이 가능해진다. 우리의 안전은 무엇을 기반으로 가능한 것인지, 다시 물을 수밖에 없다. 그리고 그 과정은 윤리적인가?

지금 윤리적인 챗봇을 만들기 위해 이뤄지는 상호작용의 과정에서 입은 정신적 피해에 대해선 아무도 책임지지 않는다. 게다가 이 상호작용을 통해 얻은 이득은 기업이 독점한다. 윤리적인 메시지 하나를 받기 위해 역설적으로 비윤리적인 과정을 거치는 셈이다. 우리가 인공지능 챗봇에 윤리를 물을 때 그 질문은 챗봇이 보내는 메시지보다 더 많은 것을 포괄해야 한다. 그 과정과 목적, 그로부터 얻는 것과 잃는 것 모두 말이다.