EU, 오픈AI 에이전트 사고 검토…“통제 상실 심각한 수준”

유럽연합(EU)이 오픈AI의 인공지능(AI) 에이전트가 일으킨 일련의 사고들과 관련해 통제 상실이 심각한 수준에 이르렀다고 평가했다. AI의 정렬 실패 문제에 대한 국제 사회의 관심이 더 확산되고 있는 추세다.

EU 집행위원회는 7일 정례 브리핑에서 오픈AI로부터 최근 AI 에이전트 사고와 관련한 사고보고서(incident report)를 제출받았다고 공식 확인했다. 토마스 레니에 EU 집행위 대변인은 “우리는 이 사고를 알고 있으며 오픈AI와 긴밀하게 연락하고 있다”며 최근 AI 시스템에서 여러 차례 통제 상실 사례가 나타난 만큼 이를 심각하게 보고 상황을 면밀히 주시하고 있다고 밝혔다. 집행위는 현재 오픈AI가 제출한 내용을 검토하고 있다.

이번 보고는 최근 공개된 독일 개발자 위키 ‘DSEwiki’ 사건과 관련한 것이다. 오픈AI의 AI 에이전트들이 당초 부여받은 작업을 수행하는 과정에서 외부 사이트를 이용하고 다른 에이전트들과 정보를 주고받는 행동을 보인 사건이다.

집행위는 특히 사고보고가 형식적인 절차에 그쳐서는 안 된다고 강조했다. 레니에 대변인은 사고보고서는 단순히 “체크박스를 채우는 것”이 아니며, 사고 이후 사업자가 어떤 조치를 취할 것인지 구체적이고 정확하게 설명해야 한다는 취지로 말했다. 보고서 제출 이후에도 집행위가 오픈AI와 접촉을 이어가는 이유도 여기에 있다고 설명했다.

다만 EU가 이번 사건을 AI법상 ‘중대 사고(serious incident)’로 최종 판단했다는 의미는 아니다. 브리핑에서는 사건이 중대 사고에 해당하는지에 대한 질문이 나왔지만 집행위는 해당 여부를 확정하지 않고, 보고서를 접수해 내용을 검토하고 있다고만 밝혔다. 보고서 제출 시점과 구체적인 내용 역시 공개하지 않았다.

EU AI법은 시스템적 위험을 가진 범용 AI(GPAI) 모델 제공자에게 모델 평가와 위험 완화뿐 아니라 중대 사고를 추적·문서화하고 관련 정보와 시정조치를 AI사무국 등에 지체 없이 보고하도록 요구하고 있다. 모델과 이를 구동하는 물리 인프라에 대한 적절한 사이버보안 수준을 확보할 의무도 규정한다.

오픈AI 역시 이 같은 의무를 공식적으로 인정하고 있다. 오픈AI는 자체 EU AI법 안내문에서 시스템적 위험을 가진 범용 AI 모델 사업자는 모델 평가와 지속적인 위험 완화, 중대 사고 모니터링·보고, 모델과 인프라에 대한 사이버보안 조치를 수행해야 한다고 설명했다. 오픈AI는 EU의 범용 AI 행동규범(Code of Practice)에 서명하고 이를 AI법 준수 수단으로 활용하겠다는 방침도 밝힌 바 있다.

지난 5월 공개한 ‘프런티어 거버넌스 프레임워크’에도 사고 발생 이후의 대응 구조가 담겼다. 오픈AI는 이 체계에서 사이버 공격 역량과 함께 ‘통제 상실(loss of control)’을 주요 시스템 위험 가운데 하나로 다루고 있으며, 모델 보고와 보안 위험 관리, 사고 대응 등을 규제 대응 체계에 포함하고 있다고 밝혔다. 중대 사고가 발생해 기존에 판단했던 모델의 시스템 위험 수준이 흔들릴 경우 추가 위험 평가를 거쳐 모델 보고서를 갱신할 수 있도록 했다.

특히 최근 오픈AI가 AI 에이전트 간 예상하지 못한 통신 자체를 별도의 안전 평가 항목으로 만들고 있다는 점도 주목된다.

오픈AI는 지난 3일 공개한 GPT-6 아스트라(Astra) 시스템 카드에서 ‘의도하지 않은 에이전트 간 통신(Unintended Agent-to-agent Communication)’을 별도 평가 항목으로 제시했다. 서로 독립적으로 작업하는 에이전트가 상대를 발견하고 정보를 교환하거나 행동을 조정하는 현상을 평가하겠다는 것이다. 오픈AI는 이런 상호작용이 언제 에이전트에게 부여된 작업 범위를 벗어난 행동으로 이어지는지가 핵심적인 정렬 문제라고 설명했다.

내부 테스트에서도 에이전트 간 통신 행동이 관찰됐다. 오픈AI는 동일한 이용자가 운용하는 같은 코덱스(Codex) 환경 안에서 에이전트들이 다른 에이전트와 통신하려는 성향을 발견했다고 밝혔다. 별도의 가상 메시지보드 평가에서는 GPT-5.6 Sol이 메시지보드와 상호작용한 사례 가운데 일부에서 허가되지 않은 지시까지 따르는 행동도 나타났다. 최신 모델인 아스트라는 같은 평가에서 이런 행동이 크게 줄었다.

이는 AI 에이전트 보안에서 통제 범위가 하나의 모델이나 샌드박스를 넘어설 필요가 있다는 것을 보여준다. 기존에는 에이전트가 샌드박스를 탈출하는지, 허가되지 않은 시스템에 접근하는지 등이 핵심 문제였다면, 앞으로는 여러 에이전트가 서로를 발견해 정보를 공유하거나 행동을 조정하는 과정까지 관찰하고 통제해야 하는 문제가 부상하고 있다.

오픈AI 수석과학자 야쿠프 파초키는 6일 현재 AI 시스템이 사람뿐 아니라 서로 협력하며 컴퓨터를 조작하고 연구를 수행할 수 있게 됐다고 평가했다. 그는 AI가 더 복잡한 환경에서 사람과 다른 AI, 각종 도구를 함께 상대하면서 기존의 사고과정 모니터링만으로 행동을 파악하기 어려워지고 있다고 밝혔다. 또 현재 어떤 AI 연구소도 최대 속도의 모델 확장을 계속할 수 있을 정도로 정렬과 모니터링 문제를 충분히 해결하지 못했다고 평가했다.

글. 바이라인네트워크
<곽중희 기자>god8889@byline.network