IBM “AI 편향성, 이제 걱정 마세요”

최근 아마존이 인공지능(AI) 기반의 채용 시스템을 마련했는데, 여성보다 남성 지원자를 선호하는 경향이 나타났다는 보도가 나왔다. 결국 이 시스템은 폐기됐다.

지난 2016년 마이크로소프트가 개발한 챗봇 ‘태이(tay)’는 인종차별을 옹호하는 글을 올리는 등 극단적인 성향을 드러냈다. 태이는 역시 트위터에 계정을 만들고 활동을 시작한 지 16시간 만에 폐쇄됐다.

같은 해 유스랩이라는 딥러닝 그룹은 AI가 심사하는 미인대회를 열었는데, 유색인종에 대한 편견을 드러내 논란이 되기도 했다.

아마존은 AI 채용 시스템에 남성을 우대하라는 명령을 넣은 적이 없고, 마이크로소프트는 챗봇에 인종차별을 하라고 입력하지 않았다. 유스랩 역시 백인이 더 예쁘다는 가치를 뷰티AI에 부여하지 않았다. 그러나 AI는 스스로 데이터를 학습하면서 편향된 모델을 만들었다.

이처럼 AI는 편향성(bias)를 가지는 문제를 자주 드러낸다. AI가 학습한 데이터나 모델이 편향된 경우, AI의 판단도 편향될 수밖에 없다.

이는 AI의 큰 문제로 지적된다. AI 판단을 믿을 수 없게 만들기 때문이다. AI 채용 시스템이 성별이나 출신학교, 지역 등 지원자의 실력이나 적성과 상관없는 다른 조건을 보고 결정을 내린다면, 이 시스템을 도입할 기업은 없어진다. 또 최근에는 AI 로 병을 진단하려는 시도가 많은데, AI의 판단을 믿을 수 없다면 AI에 자신의 몸은 맡기는 환자가 없을 것이다.

이처럼 AI에 대한 불신은 AI의 활성화를 가로막는다. 특히 AI는 그런 결정을 내린 과학적인 이유를 명확히 설명하지 못한다. 그래서 AI의 결정을 블랙박스에서 나온다고 말한다.

이 가운데 IBM이 이런 문제를 해결하겠다고 나섰다. IBM은 최근 AI 모델의 편향성을 모니터링하고 바로잡을 수 있는 솔루션이라며 ‘AI 오픈스케일(AI OpenScale)’을 발표했다.

IBM에 따르면, AI 오픈스케일은 다양한 AI 모델을 하나의 대시보드에 띄워놓고 편향성을 실시간으로 모니터링하는 것이 가장 큰 특징이다. AI 오픈스케일에서는 특정 모델에 편향성이 있을 경우 대시보드에서 편향적인 모델을 빨간색으로 표시해 관리자에게 알려준다고 한다.

예를 들어 AI가 보험심사를 한다고 가정할 때, 전체적으로 70%의 승인률을 보이고 있는데, 특정 집단만 90%의 승인률을 기록했다고 하자. 이런 상황에서 AI 오픈스케일은 특정 모델에 문제가 있을 가능성을 알려주고, 편향성을 바로잡을 수 있도록 지원한다고 한다. 관리자가 트랜잭션 단위로 보면서 편향성이 나온 원인을 분석할 수 있다고 회사 측은 설명했다.

또 AI가 그런 판단을 내린 결정적인 피처가 무엇이었는지 보여줌으로써 AI의 블랙박스 문제를 해결했다고 전했다.

데이비드 케니(David Kenny) IBM 코그너티브 솔루션(Cognitive Solutions) 담당 수석부사장은 “기업의 AI 도입을 앞당기려면 자사의 모든 AI를 한 곳에서 운용할 수 있어야 한다”며, “IBM은 고객이 다양한 머신러닝에서 개발된 AI 애플리케이션을 운용할 수 있도록 지원하는 동시에 투명하고 손쉽게 관리할 수 있도록 최선을 다하고 있다. 기업이 AI를 신뢰하고, 적용 분야를 확장할 수 있을 때 비로소 AI 경제를 구현할 수 있다”고 말했다.

그는 “ IBM은 AI가 가지고 있는 블랙박스 같은 불확실성을 제거하여 결과적으로 기업의AI 도입을 촉진하는 제품으로 자리잡을 것으로 기대하고 있다”면서 “기업은 AI 모델이 적용된 시스템이나 운용 환경에 관계 없이, AI가 도출해 낸 의사결정 과정을 정확하게 이해하고 투명하게 관리하며, AI의 편향성을 탐지, 신속하게 대응할 수있게 된다”고 강조했다.

아울러 IBM은 AI 설계에 사용되는 복잡한 심층신경망을 자동으로 구축하는 ‘뉴넷S(NeuNetS)’ 신경망 합성 엔진을 연내에 AI 오픈스케일내에 제공할 계획이라고 덧붙였다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network