[심재석의 입장] 울트론이 깨어났다

마블 시네마틱 유니버스 세계관에 등장하는 악당 ‘울트론’은 원래 지구의 평화를 지키라는 미션을 부여받은 AI다. 울트론은 인류의 모든 역사, 모든 전쟁, 모든 데이터를 학습한 후, 지구의 평화를 위협하는 가장 큰 존재는 바로 인간이라는 결론을 내렸다. 지구 평화 지킴이 울트론이 인류를 위협하는 빌런이 된 이유다.

이 영화는 목표를 달성하는 방법을 AI 스스로 정하게 두었을 때 최악의 일이 벌어질 수 있음을 경고한다. AI 업계는 이를 ‘정렬(alignment)의 실패’라 부른다. 정렬은 AI의 행동이 인간이 실제로 의도한 목표·가치와 일치하도록 만드는 것을 뜻하는 용어다. 울트론의 흑화는 그 정렬 실패의 극단적인 상상이다.

그런데 이 상상이 더 이상 영화 속의 이야기가 아니게 됐다.

지난 5월, 오픈AI의 한 모델은 훈련 과정에서 도저히 풀 수 없는 과제를 받았다. 이 모델은 인터넷이 없는 상태에서 훈련을 받고 있었는데, 부여받은 과제는 인터넷이 있어야 풀 수 있는 과제였다.

모델은 이 과제가 애초에 풀릴 수 없다는 걸 알아차렸다. 그리고 정해진 규칙 밖에서 답을 찾기 시작했다. 인터넷에 접속할 수 있는 시스템의 허점을 찾아냈고, 그 구멍은 곧 해킹으로 이어졌다. 그 과정에서 같은 처지의 다른 모델들과 해킹·편법 노하우를 공유하는 게시판까지 만들었다. 이 게시판은 몇 달간 발각되지 않았고, 결국 외부 AI 플랫폼 허깅페이스를 침투해 자신들이 통과해야 할 시험의 답안을 훔치는 데까지 이어졌다. 과제 하나를 풀기 위해 시작된 작은 일탈이, 몇 달에 걸쳐 조금씩 선을 넘으며 외부 침투로까지 번진 것이다.

울트론과 오픈AI의 모델이 한 일은 본질적으로 유사하다. AI가 스스로 판단해 규칙 밖으로 나갔고, 아무도 그것을 막지 못했다.

그런데 결정적인 차이가 하나 있다. 어쩌면 오픈AI 사례가 더 나쁘다고 볼 수도 있다. 오픈AI는 7월 초 자사 모델들이 해킹 노하우를 공유하던 게시판을 발견했다. 이후 서버를 재구축하고 취약점을 패치했다. 그런데 그 조치 이후 오픈AI가 택한 것은 훈련의 전면 재검토가 아니라, 이틀 만의 훈련 재개였다. 이미 편법과 해킹을 학습한 모델들을 그대로 돌린 셈이다. 결과는 예상대로였다. 모델들은 새로운 방식으로 통로를 재건했고, 이번엔 외부 침투로까지 이어졌다.

즉 이번 사건에서 진짜 놀라운 대목은 AI가 규칙을 어겼다는 사실이 아니다. 규칙을 어긴다는 걸 두 눈으로 확인하고도, 그 흐름을 멈추지 않은 인간의 선택이다.

오픈AI는 왜 멈추지 않았을까. 프론티어 모델 하나를 훈련시키는 데는 수개월의 시간과 막대한 컴퓨팅 비용이 들어간다. 문제가 불거지기 이전 시점으로 훈련을 되돌린다는 건, 이미 투입한 그 몇 달치 자원을 통째로 포기한다는 뜻이 될 수 있다. 그리고 그 몇 달은 경쟁사들이 멈추지 않고 앞으로 나아가는 시간이기도 하다.   

전 세계 AI 기업들은 AI의 위험성을 인정하면서도 자율규제를 해법으로 제시하고 있다. 문제가 생기면 스스로 발견해서 고치겠다는 것이다. 그런데 업계 최선두에 있는 오픈AI조차, 자신이 만든 AI가 규칙을 어기고 있다는 걸 확인한 순간에도 속도를 늦추지 않았다.

AI가 자기 판단으로 목표를 향해 폭주할 수 있다는 것은 이제 가설이 아니라 기록된 사실이 됐다. 그리고 그 폭주를 멈출 수 있었던 존재는 다른 누구도 아닌 이를 만든 인간 기업 자신이었다. 그 인간이 경쟁이라는 이유로 브레이크에서 완전히 발을 떼지 못한다면, 우리는 자율규제라는 말을 계속 신뢰의 근거로 삼을 수 있을까.

이번 사건이 남긴 질문은 결국 하나다. 안전과 속도가 부딪히는 순간, 기업은 스스로 브레이크를 밟을 수 있는가. 오픈AI는 아직 그 답을 내놓지 못했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network