사티아 나델라 “AI 모델 정렬 접어두고, 모델 밖에 통제 수단 만들자”

만약 GPT나 클로드 같은 AI 모델이 기업의 고객 정보를 외부로 유출했다면, 그 책임은 누가 져야 할까.

AI 모델을 만든 회사들은 안전을 보증하겠다고 말한다. 하지만 막상 사고가 터지면 고객에게 책임을 지는 쪽은 모델 회사가 아니라 그 모델을 쓴 기업이고, 피해도 고스란히 기업이 떠안는다.

사티아 나델라 마이크로소프트 CEO는 이 문제를 짚으며, 기업이 AI를 믿고 맡기기보다 모델이 위험한 일을 할 수 없도록 모델 바깥에서 막는 장치를 만들어야 한다고 주장했다. 고객 정보에 아예 접근하지 못하게 하거나 외부 전송 기능을 꺼두는 식이다.

모델이 악의적이어서가 아니라, 중요한 시스템에 접근하는 능력 있는 행위자라면 누구든 실수하거나 탈취당할 수 있기 때문이다.

그는 특히 ‘정렬(AI가 사람의 의도대로 움직이게 하는일)’에만 몰입하는 현재 AI 업계의 모습을 지적했다.

나델라 CEO는 자신의 X 계정에 ‘슈퍼 인텔리전스 시대의 내부자 위험으로서의 모델’이라는 제목의 글을 올리고 이런 입장을 밝혔다.

“모델 행동의 원인, 알 수 없다”

나델라 CEO는 기존 소프트웨어와 지금의 AI 모델이 다르다고 말했다. 전통적인 소프트웨어는 어떤 동작이 어느 코드 경로에서 나왔는지 추적할 수 있었다. 하지만 지금의 첨단 AI 모델은 성능이 기존 소프트웨어보다 뛰어난데도, 특정 출력이 어떤 학습 데이터나 가중치 설정에서 나왔는지 설명하지 못한다.

그는 이런 시스템에 가장 민감한 데이터에 대한 접근 권한을 주고, 핵심 업무까지 맡기는 것은 위험하고 지적했다. 그는 “지능이 우리를 대신해 하는 일에 대한 책임을 외부에 맡길 수 없다”며 “모델 제공사의 보증이 그 책임을 덜어주지는 않는다”고 말했다.

나델라 CEO가 내놓은 해법은 지능을 공급하는 주체와 그 지능에 권한을 주는 주체를 나누는 것이다. 그는 특히 ‘정렬(AI가 사람의 의도대로 움직이게 하는일)’ 같은 어려운 일은 일단 접어 두자고 제안했다. AI 모델에게 “고객 정보는 외부로 보내면 안돼”라고 가르치는 것보다 AI 고객정보를 외부에 전송할 수 없는 환경을 만드는데 집중해야 한다는 것이다.

“지능의 공급과 권한을 분리해야”

나델라 CEO는 AI를 규칙, 사람의 감독, 운영 절차로 둘러싸자고 했다. 기존 기준이 부족하면 업계 표준도 새로 만들어야 한다고 덧붙였다.

그는 AI 모델을 내부자 위험처럼 다루라고 했다. 신원 확인, 권한 제한, 활동 기록, 격리 경계 설정 등 기업이 수십 년간 강력한 내부 인력을 관리하며 쌓은 내부자 통제 방식을 AI에도 그대로 적용하자는 것이다.

나델라 CEO는 특히 모델의 추론 과정(CoT)을 투명하게 공개하는 것을 ‘협상 불가’ 조건으로 꼽았다. 가뜩이나 모델 행동의 원인을 알 수 없는데 CoT마저 불투명하면 모델의 행동을 예측할 수 없다는 것이다. 다만 모델의 출력이 실제 추론을 일관되게 반영하는지는 보장할 수 없다.

그래서 모델이 무엇에 접근하고 어떤 행동을 할 수 있는지 정하는 통제는 모델 바깥에 있어야 한다고 강조했다. 모델, 모델의 작업을 조율하는 실행 환경, 모델이 할 수 있는 행동의 범위를 서로 분리하자는 제안이다.

나델라 CEO는 “가장 신뢰할 만한 슈퍼 인텔리전스 시스템은 우리가 모델을 가장 많이 믿는 시스템이 아니라, 모델을 가장 덜 믿어도 되는 시스템”이라고 강조했다.

글. 바이라인네트워크
<심재석 기자>shimsky@byline.network