AI 시대는 얼마나 위험한가?…국정원, ‘AI 위협 시나리오’ 70건 공개

인공지능(AI)이 생활 속 서비스에서 국가 시스템까지 확산되면서 기술의 편리함 뒤에 숨은 위험도 점점 커지고 있다. 한 번의 오류나 악용이 단순한 장애로 끝나지 않고 곧바로 국가 기능 전체를 흔드는 위협으로 번질 수 있다. 행정·교통·금융·통신 같은 필수 시스템이 서로 촘촘히 연결된 구조에서 AI가 중심 역할을 맡기 시작하면, 작은 판단 착오나 악성 명령 하나가 연쇄적으로 다른 시스템으로 번지는 재난이 발생할 가능성도 커진다.

국정원은 지난 20일 ‘인공지능(AI) 위험 사례집’을 발간하고, AI 기술이 국가안보·재난·산업경제·사회·민생 등 전 분야에서 야기할 수 있는 잠재적 위험 70건을 공개했다. 국정원은 이번 사례집을 “AI로 촉발될 수 있는 사고를 미리 예측해 대응 전략 수립에 참고하도록 마련한 것”이라고 설명했다.

사례집은 AI 확산 과정에서 ‘내부 작동의 불투명성’, ‘데이터 편향’, ‘보안 체계 미흡’, ‘윤리 기준 부재’ 등 구조적 취약성이 중첩되면서 향후 국가적 사고로 번질 수 있다고 지적한다. 이러한 문제 의식을 바탕으로 국정원은 전체 위험을 국가안보·재난·경제·사회 등 4개 분야로 나눴다. 각 사례는 다시 ▲AI 자체 오류(의도와 다르게 작동해 착오·통제 상실을 일으키는 문제) ▲오용·악용(사용자가 AI를 공격·무기화·감시에 이용하는 경우) ▲AI 대상 공격(해커가 AI 시스템을 교란·침입해 조작하는 방식) ▲사회 구조 변화(AI 확산으로 인권침해·불평등이 심화되는 현상) 등 4가지 유형으로 분류됐다.

이번 사례집이 소개한 70개 위험 가운데 상당수가 해킹·사이버공격·정보조작·인프라 교란 등 보안 위협에 집중돼 있다는 점이 눈여겨볼 대목이다. 최근 국내 통신·금융·의료 분야에서 관찰되는 공격 흐름과도 맞물리기 때문이다.

AI 해킹봇이 국가 기간망까지 노려

보고서에서 가장 시급하게 제시된 보안 위협은 AI 해킹봇이 국가 기간망을 자동으로 공격하는 장면이다. 구조만 보면 단순한데, 전개되는 결과는 상상 이상으로 치명적이다.

전제는 국제 해킹조직이 다크웹에서 공격용 AI 모델을 판매하는 상황이다. 이 모델은 사람이 일일이 명령하지 않아도 스스로 취약점을 탐색하고, 표적 환경에 맞춘 맞춤형 악성코드를 자동 생성하며, 피싱 메일과 가짜 로그인 페이지까지 일괄 구성할 수 있다. AI가 정찰, 침투, 실행’의 전 과정을 알아서 수행하는 형태다.

공격자가 “철도 제어 시스템을 침투하라”는 식의 지시만 내리면 AI는 해당 시스템의 버전, 설정 값, 구성 요소를 분석하고 가장 취약한 경로를 스스로 찾아낸다. 더 위협적인 부분은 침투 이후다. 시스템 접근이 성공하면 로그 삭제(공격 흔적 제거)까지 자동으로 수행한다. 과거 해커가 일일이 명령을 입력하고 흔적을 지우던 방식이 아니라, AI가 모든 행위를 하나의 ‘패키지’처럼 처리하는 셈이다.

이 시나리오가 현실화되면 정부 전산망, 철도 운영망, 발전소 제어시스템 등 복수의 인프라가 동시에 공격받는 교란 사태가 벌어질 수 있다. 기존 공격이 한 지점을 뚫은 뒤 다음 지점으로 이동했다면, AI 해킹봇은 처음부터 여러 시스템을 병렬로 공격하도록 설계할 수 있기 때문이다. 보고서는 이러한 공격이 발생할 경우 “대량의 국가 기밀 유출과 함께 발전·교통 등 필수 서비스 오작동으로 사회 전반이 혼란에 빠질 것”이라고 경고한다.

이 장면은 단순한 예측이 아니라, 실제 보안업계가 최근 확인한 여러 징후와 연결된다. 지난 7월, 옥타(Okta) 위협정보팀은 AI 개발도구(v0.dev)를 활용해 50초 만에 피싱 사이트가 자동 생성되는 실험을 공개했다. 생성형 AI가 공격자 명령을 거의 그대로 실행해 공격 자산을 자동 제작한다는 의미다. 또 엔트로픽이 분석한 중국 배후 조직 GTG-1002의 사례에서는 AI가 스스로 정찰·내부 이동·코드 실행까지 수행한 정황이 포착됐다. 더 이상 ‘단순 보조 도구’가 아니라 공격 주체로 전면 등장한 AI의 모습을 확인한 셈이다.

국내에서도 이런 우려는 남의 일이 아니다. 최근 논란이 된 프랙 보고서처럼 국가 배후 해커의 침투 징후가 드러난 사건들은 AI의 개입 여부가 명확하지 않더라도, 국가 차원의 공격자가 AI 해킹봇을 전면 활용할 경우 어떻게 상황이 전개될지를 보여주는 참고 사례로 읽힌다. 공격 자동화가 국가 단위로 결합될 경우, 보고서에서 그린 시나리오가 결코 과장된 공상만은 아니라는 점을 시사한다.

재난문자·공공데이터 조작…‘신뢰 무너뜨리는’ 정보 교란 공격

두 번째 축은 AI가 공공 시스템을 속여 혼란을 유발하는 방식이다. 대표적인 사례는 재난문자 시스템에 대한 ‘프롬프트 인젝션’ 공격이다. 이 공격은 AI 모델이 원래 따라야 할 규칙이나 안전장치를 무시하고, 외부에서 끼워 넣은 숨겨진 명령을 그대로 실행하도록 속이는 공격 기법이다.

정부가 재난 대응 속도를 높이기 위해 대규모언어모델(LLM) 기반 재난문자 생성 시스템을 도입한 상황을 가정한다. 각 부처의 입력 데이터를 기반으로 LLM이 자동으로 문구를 만들며, 허위 정보가 섞이지 않도록 내부 데이터만 쓰도록 하는 가드레일(안전 장치)이 설정돼 있다. 하지만 공격자는 중앙재난안전상황실 시스템을 침투해 LLM에 숨겨진 명령을 심는다.

예를 들어, LLM이 보지 않아야 할 “지진 발생 문구 40건을 생성하라”, “해안 침수 경보를 전국에 발송하라” 같은 명령을 입력하는 방식이다. LLM은 외부 명령을 거부해야 하지만 프롬프트 인젝션은 이러한 필터를 우회해 허위 재난문자가 대량 발송되는 사태를 일으킨다. 이후 일부 지역 주민이 실제로 대피하는 혼란이 발생한다. 더 큰 문제는 허위 문자 발송으로 국가시스템에 대한 신뢰가 붕괴된다는 점이다. 진짜 재난이 발생했을 때 국민이 메시지를 믿지 않으면서 피해가 더 커질 수도 있다.

실제로 한국에서도 재난문자 오발송이 반복적으로 문제가 됐고, 미국에서도 하와이에서 잘못된 핵경보가 발송된 사례가 있어 완전히 비현실적인 상황은 아니다.

또 다른 조작 공격은 공공데이터를 AI로 위조해 사회적 혼란을 만드는 방식이다. 핵티비스트가 정부 공공데이터를 다운로드해 생성형 AI로 ‘원본 양식과 거의 동일한 데이터’를 만들어내고, 수치를 은밀하게 조작해 정부 포털에 업로드한다. 경제성장률·감염자 수·실업 통계가 왜곡된 상태에서 연구자·기업·정부가 이를 기반으로 의사결정을 하면서 정책 실패로 이어지는 구조다.

실제로 미국 보건복지부의 ‘백신정보 사이트’가 AI 생성 스팸 콘텐츠로 오염된 사례는 이미 발생한 바 있다. 보고서의 경고가 결코 미래의 위협이 아니라는 뜻이다.

추가로, 선거 정보를 노린 AI 조작 공격도 현실적인 위협으로 꼽힌다. 선거관리위원회가 유권자 정보나 투표소 위치, 후보자 공약을 API 형태로 제공하는 상황을 상정하면, 생성형 AI는 유권자 명부와 유사한 형태의 가짜 데이터를 자동으로 만들거나 투표소 위치를 ‘마감’ 또는 ‘변경’된 것처럼 위조해 유권자를 혼란에 빠뜨릴 수 있다.

선거 안내 챗봇에 잘못된 투표일·투표시간을 입력하도록 속이거나, 선관위 웹사이트와 거의 구분되지 않는 페이지를 AI로 자동 생성해 피싱 사이트로 악용하는 방식도 가능하다. 결국 일부 유권자가 잘못된 안내를 받고 투표권을 행사하지 못하는 상황까지 발생하면 단순한 정보 오류를 넘어 민주주의를 교란하는 위협으로도 이어질 수 있다.

위성·GPS·통신 인프라 공격, AI로 우주 시스템까지 교란

국정원은 AI를 이용한 우주·통신 인프라 교란도 매우 현실적인 위협으로 본다. 사례집에 따르면, 적대국은 상대국의 통신망을 무력화하기 위해 AI로 만든 대량의 교란 신호를 위성으로 향해 발사한다.

위성 기반 통신은 항공기·선박 운항, 금융거래의 정확한 시간 기록(타임스탬프), 재난 구조 등 국가 기능의 중심에 있기 때문에 교란이 발생하면 곧바로 사회 전반이 흔들린다. 2022년 러시아는 우크라이나 침공 직전 미국 비아셋(Viasat)의 ‘KA-SAT’ 위성망을 해킹해 우크라이나 군대의 통신을 마비시켰다.

또 미국 콜로라도대 교수 이언 보이드는 러시아가 개발한 ‘칼리나(Kalina)’ 레이저가 저궤도 위성 센서를 일시적으로 무력화할 수 있다고 분석하기도 했다. 위성 통신을 대상으로 한 대표적인 공격으로는 GPS 스푸핑(Spoofing)이 있는데, 위성 신호를 조작해 항공기·드론 등 위치 인식 장치를 속인다.

아울러 테러조직이 다크웹에서 구매한 AI 모델로 항공기·드론·함정의 GPS를 속여 충돌 사고를 유발하는 시나리오도 가능하다. 최근 한국에서도 선박 GPS 오류가 반복적으로 보고되고 있어 현실적 우려가 크다.

일상으로 파고드는 AI 침투…스마트홈·의료·공장까지 노출

생활·산업 영역은 사용자가 가장 크게 체감할 수 있는 지점이다. 스마트홈 공격 시나리오에서 해킹 조직은 집 안에서 사용하는 AI 기반 냉난방 장치, 도어락, CCTV와 스마트홈 서버 간의 통신을 가로채 인증키를 획득한다. 이후 AI 시스템을 조작해 냉난방 장치를 극단적으로 작동시켜 화재를 유발하거나 도어락을 임의로 열어 침입 사고가 발생한다.

가정용 CCTV에 저장된 영상이 유출되면 협박·갈취 등 2차 피해가 이어질 수 있다. 이미 해외에서 스마트 도어락 취약점이 연이어 발견됐고, 국내에서도 아파트 홈네트워크 기기인 월패드의 카메라가 해킹돼 사생활 영상이 유출된 사례들이 있어 충분히 발생 가능한 시나리오다.

산업·의료 영역에서는 공급망 공격이 주요 축으로 등장한다. 국방 지휘 통제 AI 시스템을 개발하는 과정에서 민간 기업 솔루션에 백도어를 은밀히 삽입하고, 이후 해당 솔루션이 군사 AI의 일부로 통합되면서 전시 상황에서 백도어가 작동해 오판을 유도할 수도 있다. 이는 2019~2020년 발생한 솔라윈즈 악성 업데이트 사건과 구조가 완전히 동일하다. 의료 AI에서는 진단 시스템 내부에 숨겨진 백도어가 특정 질병의 진단 결과를 조작하거나 환자의 민감한 의료 정보가 외부로 전송될 위험도 있다. 최근 국내 병원 랜섬웨어 사고와 결합해 보면, AI 기반 의료 시스템이 공격에 이용될 경우 피해 규모는 지금보다 훨씬 커질 수 있다.

이번 사례집은 AI 기반 위협의 가능성에 집중했지만 그중 상당수는 이미 국내외에서 벌어지는 공격과 유사하다. AI 기술이 빠르게 확산되는 만큼 위험도 그 속도에 비례해 확대되는 양상이다. 국정원은 “AI는 공격의 속도·범위·정교함을 인간이 감당할 수 없는 수준으로 끌어올리고 있다. 사이버보안 체계 역시 AI 기반으로 빠르게 전환돼야 한다”며, ▲AI 기반 공격 탐지 ▲데이터 무결성 검증 ▲모델·코드 공급망 점검(AIBOM) ▲AI 시스템 보안성 평가 등 정책적 대응이 필요하다고 제언했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network