잘못된 AI 만드는 데이터 왜곡 어쩌나…“지속적 품질평가 필요”

 가장 큰 클라우드 도입 장벽은 ‘보안’

인공지능(AI)의 기반이 되는 데이터소스가 오염될 경우에 대비해 개발 이후에도 지속적인 품질평가를 수행하라는 제언이 나왔다. 클라우드 도입이 늘어나는 가운데 여전히 보안 우려가 도입을 꺼리는 장벽이 되는 것으로 나타났다.

4일 서울 양재동 엘타워에서 열린 ‘2023 ICT 산업전망컨퍼런스’의 디지털 지능시대 사이버보안 세션에서 나온 이야기다. 지난 3일부터 이틀간 과학기술정보통신부가 주최한 이 행사는 국내·외 정보통신기술 현황 및 미래비전 공유·확산 등을 논의하는 자리다.

자율주행이나 안면인식, 의료 등 AI의 활용 범위가 계속 커지는 현 세태에서 AI 보안이 침해되면 피해는 걷잡지 못할 정도로 커질 수 있다. 개인을 넘어 사회 전체가 위협에 빠지기도 한다. 고기혁 KAIST 사이버보안연구센터 팀장은 ‘인공지능은 왜 그렇게 판단하는가’ 주제발표에서 “AI가 왜, 어떻게 판단하는지를 제대로 확인하지 못해 일어나는 문제”라며 “판단 과정을 이해해야 한다”고 말했다.

AI는 입력된 학습요소를 바탕으로 한 머신러닝을 거쳐 현장에 적용된다. 하지만 입력되는 데이터가 왜곡되면 결과가 잘못될 수밖에 없다. 특히 AI가 내린 결정의 과정이 설명되지 않는 ‘블랙박스’ 문제는 투명성과 함께 보안 문제를 일으킬 수 있다.

고기혁 KAIST 사이버보안연구센터 팀장의 주제발표 모습.

고기혁 팀장은 보안 문제를 야기하는 적대적 사례 3가지를 제시하며 블랙박스 문제 해결 방안을 전했다.

첫째는 학습 요소에 일종의 노이즈를 섞어 결과를 왜곡하는 ‘회피(Evasion)’ 방식이다. 특정 픽셀을 통해 사물을 인식하는 AI라면 기준이 되는 픽셀 모델에 노이즈를 넣어 오판을 유도하는 식이다. 예를 들어, 빨간불에 멈춰야 하는 자율주행차라면 빨간색을 제대로 인식할 수 없도록 픽셀 노이즈를 섞어버리면 초록불로 인식해 사고를 야기할 수 있다.

정도가 더 심한 ‘오염(Poisoning)’ 공격도 있다. 학습 요소에 다른 데이터를 넣어 머신러닝 과정을 오염시키는 것을 뜻한다.  AI가 출력한 결과를 역산해 작동 구조 등을 알아내는 것은 유추(Inference) 방식으로 일컫는다.

회피와 오염의 경우 AI 품질 평가를 통해 막아야 한다는 게 고 팀장의 생각이다. 그는 “해킹으로  잘못된 데이터를 넣는 케이스도 있을 수 있다”고 부연했다. 또 유추 공격의 경우 AI 모델에 대한 설명이 오히려 공격의 실마리를 줄 수 있어 주의하라는 조언이다.

고 팀장은 “사람이 수기로 설계한 것을 학습하는 것이 아니라 입출력 페어(데이터소스와 명령)만 주어지면 자동으로 학습하기 때문에 블랙박스 문제가 일어난다”며 “안전 사고나 특정 인종을 동물로 인식하는 인종차별 문제도 야기할 수 있다”고 말해 AI의 판단 토대인 데이터소스 보안을 강조했다.

클라우드 보안에 대한 제언도 나왔다. 클라우드의 확산 속에서 보안에 대한 우려가 적지 않아서다.

‘디지털 전환을 위한 클라우드 활용 및 보안 전략’을 발표한 박승호 카카오엔터프라이즈 이사에 따르면, 카카오엔터프라이즈가 자체 설문 등을 통해 의견을 취합한 결과 대기업군 응답자의 43%가 보안 우려를 클라우드 도입을 막는 장벽으로 꼽았다. 온프레미스와 클라우드 통합 문제(42%)보다 높은 수치다.

중소기업도 사정은 비슷하다. 기술 전문성 부족(42%)에 이어 보안 우려(36%)가 두 번째를 차지했다. 기업 규모를 불문하고 보안이 클라우드 도입의 큰 걸림돌로 나타난 셈이다.

현재 우리나라 클라우드 보안 컴플라이언스는 ‘클라우드 컴퓨팅 발전 및 이용자 보호에 관한 법률’에 따라 보안 가이드라인, 취약점 점검 가이드 등을 통해 관리된다. 성능 기준이나 정보보호 안내서도 있다. 하지만 이와 더불어 기술적 지원이 수반돼야 한다는 게 박 이사의 생각이다.

사용자 입장에서는 클라우드 서비스 제공사(CSP)가 보안 이슈를 충족하는 기술 아키텍처를 갖췄는지 확인하는 것이 우선이다. 그는 “CSP 또한 고객이 최적화된 보안을 수행할 수 있도록 표준화된 보안 아키텍처를 제공해야 한다”면서 “보통 온프레미스보다 클라우드가 보안이 약할 것이라는 생각이 있지만 CSP와 논의를 통해 보안 인프라를 확인하고 제공받으면 된다”고 설명했다.

외산 CSP가 주로 쓰이는 업계 상황에 대한 의견도 남겼다. 그는 개인적 의견임을 전제하며 “아무래도 (외산 CSP가) 서비스 라인업이 풍부한 경향이 있다”면서도 “지금은 국내 CSP도 이에 못지 않게 많은 기능을 제공하는 추세”라고 말했다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network

[무료 웨비나] 디지털 전환 시대의 필수! AI기반 아이덴티티 보안의 모든 것

  •  2024년 7월 16일 (화) 14:00 ~ 15:30

관련 글

답글 남기기

이메일 주소는 공개되지 않습니다. 필수 필드는 *로 표시됩니다