AI 모델 혁신의 최소 조건은 공급망 보안…“기준 명확해야 속도 낸다”

“표준과 규제는 안전한 인공지능(AI) 개발을 위한 ‘고속도로’를 만들어 줄 수 있습니다. 장애물처럼 보이지만, 때로는 가속 장치가 됩니다.”

하이럼 앤더슨 시스코 AI 보안 총괄은 30일 서울 코엑스에서 열린 ‘AI 서울 2026’ 행사의 키노트 세션에서 AI 공급망 보안의 방향을 이렇게 강조했다.

AI 모델과 데이터가 오픈소스 생태계를 통해 빠르게 늘면서, 기업은 외부 모델을 가져와 파인튜닝(미세 조정)한 뒤 서비스에 연결하는 흐름이 빨라졌다. 이 과정에서 모델·데이터의 출처 확인, 라이선스 준수, 파일을 매개로 한 악성코드 유입 같은 위험은 더 커졌다.

앤더슨 총괄은 이런 불확실성이 커질수록 차단하기보다 검증 기준을 분명히 하고, 점검을 자동화해 신뢰 비용을 낮춰야 한다고 봤다.

그가 말한 ‘AI 공급망’은 소프트웨어 공급망을 확장한 개념이다. 코드와 라이브러리뿐 아니라 모델, 데이터세트, 에이전트 구성요소까지 연결된 생태계를 뜻한다. 구성요소가 많아질수록 취약점, 라이선스, 책임이 연쇄적으로 늘어난다.

앤더슨 총괄은 AI 생태계에서 빠른 속도가 기본값처럼 작동하고 있다고 말했다. 그는 오픈 모델 플랫폼인 허깅페이스 사례를 들며 1월 1일부터 30일까지 한 달 사이 신규 모델 19만개가 업데이트됐다고 설명했다. 데이터세트, 스페이스(에이전트 실행 공간)까지 포함하면 7~8초마다 1개씩 AI 모델의 구성요소가 추가되는 수준이라고 덧붙였다.

모델·데이터 폭증…AI 공급망, 새 공격 표면으로

문제는 각 모델의 안전성을 확인하기가 점점 어려워진다는 점이다. 모델 공급자는 모델카드(모델 설명서)에 학습 데이터, 기반 모델, 성능 지표를 적을 수 있다. 다만 앤더슨 총괄은 “위험한 요소를 제대로 공개하지 않는 경우가 많다”고 지적했다. AI가 할 수 잇는 부적절한 행동을 찾아 공개하도록 하는 유인 장치가 없다는 설명이다.

공격자 관점에서는 모델과 코드의 경계가 흐리다는 점도 공략할 수 있는 지점이다. 그는 일부 모델 파일 형식이 ‘역직렬화(저장된 객체를 실행 가능한 형태로 다시 풀어 읽는 과정)’를 통해 로딩되는 점을 짚었다. 이 과정이 악용되면 모델을 불러오는 순간 임의 코드 실행으로 이어질 수 있다. 나아가 멀웨어 페이로드를 모델 가중치(파라미터) 안에 숨기는 방식도 언급했다. 이렇게 하면 모델의 성능 저하 없이 숨어들 수 있고, 멀웨어를 쉽게 찾아내기도 어렵다는 설명이다.

또한 그는 실제 개발 흐름에서의 위협도 예로 들었다. 개발자가 허깅페이스에서 원하는 모델을 찾고, 이름을 복사해 코드에 붙여 넣는다. 모델은 정상적으로 로딩된다. 이때 역직렬화 과정에서 임의 코드가 실행될 수 있다는 것이다. 앤더슨 총괄은 시스코 내부 팀이 허깅페이스 업로드를 스캔해 악성 페이로드, 임의 코드 실행 상태를 점검하고 있다고 밝혔다.

아울러 라이선스와 컴플라이언스(규제준수) 위험도 AI 공급망의 핵심 변수로 제시됐다. AI 모델은 ‘오픈소스’라는 한 상자에 깔끔히 담기지 않는다는 주장이다. 같은 모델 계열이라도 개별 모델 단위로 라이선스가 달라질 수 있고, 코드 라이선스와 모델 라이선스가 겹치면 의무사항이 더 복잡해진다. 관할지 지정, 광고·표시 의무, 상표 사용 제한 같은 조항이 실무에서 함정이 될 수 있다고 했다. 미세조정 모델이 기반 모델의 라이선스를 상속하는 경우 추적이 더 어려워진다.

차단보다 ‘빠른 기준’…자동 점검 필요

이런 상황에서 그가 제시한 해법은 규제로 막는 게 아니라, 기준을 명확히 세워 빠르게 검사할 수 있게 만드는 방식이다. 앤더슨 총괄은 “최근 한국의 AI 기본법이 시행됐다”고 언급하며, 이런 규제가 시장을 위축시키는 장치가 아니라 최소 기준을 정리해 혼란을 줄이는 역할을 할 수 있다고 말했다. 그는 동시에 업계 표준과 공개 프레임워크가 그 기준을 실무 수준으로 구체화해야 한다고 강조했다.

오왑(OWASP·오픈웹 애플리케이션 보안 프로젝트)의 ‘대규모언어모델(LLM) 상위 10대 위협’ 같은 참고 가이드, NIST(미국 국립표준기술연구소)의 ‘AI 위험 관리 프레임워크’ 같은 뼈대가 그 예다.

다만 이런 기준이 현장에서 작동하려면, 최종적으로는 사람이 매번 판단하는 방식에서 벗어나야 한다는 게 앤더슨 총괄의 설명이다. 앤더슨 총괄은 한 미국 기업이 2024년에는 허깅페이스 전체를 차단했다가, 2025년에는 ‘법무팀에 먼저 물어보라’는 방식으로 대처를 바꾼 사례를 소개했다. 그는 “ 2026년에는 출처 증명, 문제 라이선스 경고, 규제 적용 대상 여부 점검을 자동화한 ‘상식적인 통제’로 AI 규제의 패러다임을 바꿔야 한다”고 강조했다.

이어 그는 “AI 에이전트가 더 많은 도구와 시스템과 연결될수록, 기업은 AI의 성능만 고려할 수는 없다”며 “이 AI 모델이 어디에서 왔는지, 어떤 오픈소스가 들어가 있는지, 로딩 과정은 안전한지, 라이선스는 감당 가능한지 등 공급망 전반을 모두 관리해야 한다”고 말했다.

글. 바이라인네트워크
<곽중희 기자> god8889@byline.network