LLM 악용 급증…이상근 고려대 교수 “AIBOM·안전성 확보 서둘러야”

생성형 인공지능(AI)이 공격자의 새로운 도구로 활용되고 있어, 설계 단계부터 안전성을 검증하고 보안을 체계화해야 한다는 지적이 나왔다.

고려대학교 이상근 교수는 20일 여의도 콘래드 서울에서 열린 ‘금융정보보호 컨퍼런스 2025(FISCON 2025)’에서 “대규모언어모델(LLM) 기반 서비스는 이미 현실에서 다양한 방식으로 악용되고 있다”며 “개발 단계부터 보안이 전제되지 않으면 기업 전체가 위험에 노출된다”고 강조했다.

프롬프트 인젝션에서 모델 복제까지 “LLM은 거대한 공격 표면”

이상근 교수는 최근 연구 및 실제 발생한 사례를 기반으로 LLM이 겪고 있는 핵심 위협을 크게 네 가지로 짚었다.

첫째는 ‘프롬프트 인젝션(prompt injection)’이다. 사용자가 입력한 문자열이 모델의 정책을 우회해 금지된 행동을 수행하게 만드는 공격이다. 실제 학계에서는 논문 PDF에 ‘흰색 글씨 명령어’를 삽입해 LLM 기반 논문 심사를 왜곡한 사례가 보고됐고, 기업 취업 과정에서는 이력서(CV)에 숨겨둔 지시문을 통해 채용 AI 평가 기준을 무력화한 사례도 있었다. 이 교수는 “상용 모델은 안전장치를 내세우지만, 조금만 우회하면 실제 공격 코드나 위험 정보까지 생성하는 경우가 흔하다”고 말했다.

두 번째는 ‘학습 데이터 유출’이다. 이 교수는 “LLM은 사실상 거대한 기억장치”라며, 멤버십 추론 공격으로 학습 데이터 존재 여부를 판별하거나, SNS 대화를 복원하는 방식이 이미 다수 실험에서 입증됐다고 설명했다. 해외 연구에서는 GPT-2 내부에서 개발자 개인정보와 대화 기록 일부가 추출된 사례가 있었고, 얼굴 인식 모델에서 특정 인물과 유사한 얼굴을 재현한 사례도 등장했다.

세 번째는 ‘AI 백도어’ 위협이다. 모델 파일 자체에 악성코드를 심어두는 방식으로, 개발자가 허깅페이스(HuggingFace) 등에서 모델을 내려받아 로딩하는 순간 공격자 서버와의 연결이 열리는 구조다. AI 모델과 데이터셋을 공유·배포할 수 있는 글로벌 오픈소스 플랫폼이다. 실제로 허깅페이스 저장소에서 역접속(리버스 쉘, reverse shell)이 포함된 악성 모델이 발견된 바 있다. 양자화 이후에만 활성화되는 은폐형 백도어 연구도 등장해 탐지가 더욱 어려워지는 추세다.

마지막은 ‘모델 복제(model extraction)’다. 공격자가 수많은 질의와 응답의 구조을 수집해 내부 모델 구조와 추론 행렬까지 재현하는 방식이다. 이 교수는 “챗GPT·딥시크 모델에서도 복제 정황이 논문을 통해 여러 차례 논의됐다”며 “수년의 연구와 수백억원의 학습비용이 간단한 쿼리 조작으로 탈취될 수 있다”고 설명했다.

할루시네이션(환각) 문제도 거론됐다. 이 교수는 “LLM은 잘못된 사실을 그럴듯하게 만들어내는 환각 문제도 위험하다”며, 공격자가 의도적으로 유도한 질문에 LLM이 거짓 내부 정보를 생성하면 기업의 신뢰와 평판이 직접 타격받는다고 지적했다.

AI 보안은 선택 아니라 의무…AIBOM 등 모델 설계 단계부터 위험 관리해야

이상근 교수는 “AI 보안은 선택이 아니라 의무이며 모델이 스스로 판단을 수행한다는 점에서 기존 소프트웨어보다 훨씬 큰 위험을 가진다”고 강조했다. 그는 AI가 인간의 개입 없이 자동으로 의사결정을 반복하는 구조이기 때문에, 개발이 끝난 뒤 보안 기능을 덧붙이는 방식으로는 대응이 불가능하다고 설명했다. 기업이 LLM을 활용한 서비스를 설계하는 단계에서부터 위험을 파악하고, 모델 구조와 학습 과정에 보안 요소를 함께 설계해야 한다는 것이다.

이 교수는 내년 시행을 앞둔 ‘인공지능 발전과 신뢰 기반 조성 등에 관한 기본법(이하 AI기본법)’을 예로 들며, LLM 기반 금융·공공 서비스가 향후 ‘고영향 인공지능’으로 분류될 가능성이 높다고 전망했다. 이 경우 기업은 위험관리 체계를 의무적으로 구축해야 한다. 여기에는 모델이 어떤 위험을 내포하는지 식별하고, 발생 가능성과 영향 수준을 평가하며, 필요한 완화 조치를 문서화하는 과정이 포함된다. 특히 LLM 특유의 프롬프트 인젝션, 학습 데이터 유출, 모델 복제 공격처럼 기존 소프트웨어에서는 드물었던 취약성을 반드시 고려해야 한다고 강조했다.

AI기본법 시행령은 초당 10경회의 연산량(10¹⁶FLOPS)을 넘는 규모의 LLM을 사용할 경우, 별도의 안전성 확보 조치를 요구한다. 이 교수는 이러한 기준이 결국 고성능 LLM 서비스를 운영하는 대부분의 조직에 직접 적용될 가능성이 높다고 설명했다.

아울러 그는 모델 개발과 운영 단계에서 이력 관리, 학습 데이터셋 출처 추적, 체크포인트 변화 기록 등을 체계적으로 관리하는 AI-BOM(AI Bill of Materials) 또한 필수 요소로 지목했다. 그는 AI-BOM이 단순한 관리 도구가 아니라 유럽연합(EU), 미국 식품의약국(FDA)가 요구하는 규제와 직접 연결되는 만큼, 글로벌 시장에서 제품과 서비스를 제공하기 위해 반드시 갖춰야 할 기본 요건이 될 것이라고 말했다.

이 교수는 “AI를 기존 소프트웨어처럼 취급해 ‘나중에 패치하면 된다’고 생각하는 순간 위험이 커진다”고 경고했다. 이어 “모델 설계 단계에서 가드레일 구조를 어떻게 둘 것인지 데이터 검증 절차를 어떻게 마련할 것인지, 공격 시나리오를 어떤 방식으로 점검할 것인지가 모두 초기 단계에서 함께 검토돼야 한다”며 “이 과정을 생략한 AI 서비스는 결국 스스로 무너질 수밖에 없다”고 강조했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network