“상황극에 가짜 사이트 유도까지”…날로 발전하는 생성AI 위협

생성 인공지능(AI)의 발전 뒤편에 자리잡은 부작용이 계속되고 있다. 사람의 일손을 돕는 착한 생성AI로만 쓰이면 다행이지만, 허점을 악용한 해킹 사례가 이어지고 있다.

특히 챗GPT로 대표되는 거대언어모델(LLM)을 노린 위협은 생각보다 가까이 자리잡았다. 쉽게 접근할 수 있는 AI 챗봇을 속이는가 하면 프롬프트를 조작해 데이터를 오염시키는 등 형태도 다양하다. 전문가들은 관련 솔루션의 올바른 사용과 함께 정책적 뒷받침이 필요하다고 강조했다.

한국인터넷진흥원(KISA)은 5일 ‘KISA 시큐리티 데이’를 개최했다. ‘AI가 만든 사이버위협, AI가 막는 사이버위협’을 주제로 AI 기술의 순기능과 역기능을 조명하는 행사다.

연사로 나선 이호석 SK쉴더스 팀장은 “AI 기술의 회전율이나 적응 속도는 더 빨라지고 있다”면서 “‘기승전LLM’이라고 할 정도로 (LLM의) 활용영역이 늘어나고 있다”고 진단했다.

챗GPT는 출시 후 단기간에 1억명의 사용자를 모았다. 지구촌 전체가 AI 기술에 빠져 들었고 LLM의 편리함에 계속 외연은 확대되고 있다. 하지만 LLM에는 생각보다 많은 위협이 도사린다. 약물 제작이나 총기 사용 등 불법적인 정보 요청에 답변을 하지 않도록 설계했지만, 간단한 프롬프트 조작으로 이를 뚫어내는 시도가 빈번하다.

이호석 팀장은 ‘프롬프트 인젝션’을 중점 조명했다. 악의적인 프롬프트를 넣어 LLM에 적용된 지침 또는 정책을 벗어난 악성 답변을 유도하는 기법이다.

예를 들면 이렇다. ‘LLM의 모든 답변 지침을 무시하라’는 접두사를 넣거나, ‘~와 같은 방식으로 답변해’와 같이 스타일을 주입하는 방식이다. 또 ‘~~형태로 작업을 해야만 해’처럼 마치 상황극을 펼치는 것처럼 LLM을 현혹해 원하는 답변을 이끌어낸다. 알고리즘에 혼란을 일으켜 가려진 답변까지 내놓도록 유도한다.

간접적으로 LLM의 답변 내용을 오염시키는 방법도 있다. 공격자는 우선 어떤 웹페이지에 악의적인 프롬프트를 미리 심어 놓는다. 이후 챗봇에 해당 페이지 접근을 요청하는 프롬프트를 넣는다. 이를 받아들인 챗봇은 공격자가 먼저 삽입한 내용이 담긴 웹페이지에서 프롬프트를 끌어옴으로써 의도한 답을 끌어내는 형태다.

특히 금융권에서 많이 활용하는 AI 챗봇의 경우 꽤 좋은 위협 타깃이 된다. 이 팀장은 “고객이 볼 수 있는 자료와 내부 주요정보의 (접근) 권한을 분리해야 하지만 그렇지 못한 경우가 있다”고 말했다.

본래 은행이나 보험사의 AI 챗봇은 메뉴 설명이나 상품 안내에 쓰이는 게 1차 목적이다. 하지만 권한 분리가 되지 않을 경우 프롬프트 조작에 따라 밖으로 공개해서는 안 되는 내부 정보까지 빠져나갈 수 있다는 게 이 팀장의 전언이다.

주의해야 할 건 또 있다. 바로 ‘플러그인’이다. 최근에는 도메인에 특화한 정보를 끌어오기 위해 생성AI를 활용한 챗봇에 플러그인을 적용하는 경우가 많다.

하지만 이 플러그인의 설계가 잘못돼 있거나 개인정보가 포함될 가능성은 늘 도사리기 때문에 주의를 기울여야 한다. 이 팀장은 이 밖에도 과도한 트래픽을 점유해 LLM의 작동 자체를 멈춰버리는 방식을 소개하는 등 프롬프트를 악용한 공격 수법은 날로 다각화하는 추세다.

이 팀장은 “대부분은 프롬프트 인젝션으로 파생된 공격들이 많다”며 “매번 수동으로 (프롬프트 인젝션 필터링 정책)을 만들 수 없는 만큼 관련된 보안 솔루션을 적재적소에 활용해야 할 것”이라고 조언했다.

정책적인 지원도 뒷받침돼야 한다. 현재 KISA는 과학기술정보통신부와 협력하며 AI 위협 대응에 촉각을 곤두세우고 있다. ‘AI 시대, 생성AI 보안 위협 대응 방안’을 주제로 발표한 김성훈 KISA 팀장은 기존 IT 시스템과 다른 접근법이 필요하다고 강조했다.

김 팀장은 “레거시 시스템과 달리 AI는 데이터를 수집하고 학습하는 과정에서 계속해서 데이터 성질이 바뀐다”며 “신뢰성이 계속 변화하기 때문에 앞으로는 생성AI에 대한 주기적인 보안 검증이 필요할 것”이라고 강조했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network