AI 기본법, 업계는 여전히 ‘모호함’을 지적한다

내년 1월 시행을 앞둔 ‘인공지능(AI) 발전과 신뢰기반 조성 등에 관한 기본법(이하 AI 기본법)’의 하위법령 제정 방향이 공개됐지만, 업계에서는 “여전히 ‘고영향 AI 사업자’ 범위가 모호하며, AI의 범위가 광범위하고, 연산량을 기준으로 하는 고성능 AI 기준이 타당한가”에 대한 우려의 목소리가 나왔다.

법규의 지나친 모호함은 또 다른 규제로 다가온다. 판단 기준이 명확하지 않으면, 기업은 준수해야 할 범위를 몰라 필요 이상으로 위축되고 과잉 준수로 이어질 수 있다. 규제를 지키기 위해 법안을 검토하고 대비하는 과정에는 시간과 비용이 따른다. 스타트업과 같은 작은 기업에게 이러한 부담은 더 크게 다가온다. 이런 상황에서 혁신이 이뤄질 수 있을까?

김현경 서울과기대 IT정책전문대학원 교수는 지난 17일 발간한 ‘AI 기본법의 발전적 시행을 위한 제언’ 스타트업얼라이언스 이슈페이퍼에서 AI 기본법 시행령에서 고려해야 할 핵심 사항으로 ▲고영향 AI의 예외 및 해제 기준 마련 ▲정부 주도의 고영향 판단 절차 전환 ▲AI 시스템 정의의 구체화 ▲스타트업 등 중소기업 친화적 준수체계 구축 ▲개발사업자와 이용사업자의 의무 구분 ▲이용자 개념의 명확화 ▲투명성 의무 예외 규정 마련 등 7가지를 제안했다.

이러한 제안은 불필요한 규제 부담을 완화하고 산업 현실을 반영한 합리적인 집행 방안을 모색하기 위해 고려됐다. 또, 유럽연합(EU)과 같은 해외 사례를 참고해 국제적 규제 조화 속에서 국내 AI 산업의 경쟁력을 강화하는 것을 목표로 한다.

정부는 시행령안 전문을 공개하진 않았지만, 하위법령 제정 방향을 보고하며 “AI 기본법상 최소한의 의무 규정의 범위와 내용을 구체화·명확화하여, 기업의 불확실성을 완화하였으며, 관계부처와의 협의를 통해 중복·유사 규제도 해소할 계획이다”라고 밝혔다.

또한, “현장 안착을 위해 실질적으로 규제 유예와 동일한 효과 달성이 가능한 과태료 계도기간을 운영할 계획이며, 계도기간 중에는 기업의 투명성·안정성 확보 의무 이행을 위한 자문(컨설팅)과 비용 지원도 해나갈 계획”이라고 발표한 바 있다.

9월 말까지 추가적인 의견수렴을 거친 뒤, 10월 중 입법예고 이후 연내 시행령 및 가이드라인 정비를 완료한다는 목표다. 이에 김현경 교수는 AI 기본법을 둘러싼 문제 상황과 발전방향을 짚었다.

문제1: 아직도 모호한 ‘고영향 AI 사업자’

고영향 AI는 생명, 신체, 기본권에 중대한 영향을 미치거나 위험 초래 우려가 있는 AI 시스템이다. 주로 에너지, 보건의료, 원자력, 교통, 교육 등 특정 영역에 활용된다. 규정에 따라 6가지 의무 사항을 이행해야 하며, AI 기반 제품 서비스라는 사실을 고지하는 투명성 의무가 부여된다.

과기정통부는 기본권에 중대한 영향을 미치는 시스템으로 규정한 만큼, 고영향 AI 해당 여부 판단 시 ▲사용영역 ▲기본권에 대한 위험의 영향·중대성·빈도 ▲활용 영역별 특수성 등을 종합적으로 고려해 판단할 예정이며, 확인 요청 시 그 절차를 규정하도록 한다고 밝혔다.

김 교수는 “과기정통부 장관이 전문위원회의 자문을 받아 확인할 수 있다고만 규정할 뿐, 고영향 AI에 해당되는 기준, 확인 방법, 절차 등은 모두 입법 미비이며 대통령령에 위임하고 있다”고 지적했다. 따라서 고영향 영역이라는 모호함 속에서 사업자는 스스로 고영향 AI 사업자인지 확인해야 한다. 스스로 판단이 어렵다면, 과기정통부 장관의 확인을 구하는 방식이다.

여전히 사업자는 자신의 서비스가 고영향 AI에 해당하는지 판단해야 하는 부담과 불확실성에 놓여 있다는 이야기다.

현장에서는 범용모델과 오픈소스 모델의 개발과 활용 현실을 반영 못 한다는 목소리가 나온다.

스타트업얼라이언스가 수집한 현장 의견에 따르면 범용모델은 여러 산업·도메인에서 쓰인다. 하지만 특정 산업 안전 매뉴얼 챗봇처럼 한 가지 용례라도 고영향에 해당되면, 전체 범용모델 개발사가 고영향 AI 관련 의무를 부담하는 구조다.

학습데이터 개요 설명 의무 역시 현실적으로 이행이 어렵다. 공개된 대규모 데이터를 학습하기 때문에, 이 모든 데이터를 설명하는 것은 사실상 불가능하다는 설명이다. 오픈소스 모델 역시 실제 책임을 질 주체가 누구인지 불명확하다. 현재 법에서는 모델 개발사나 서비스 개발사에게 책임이 집중되는 구조이기 때문이다.

과기정통부에게 고영향 AI 사업자인지 확인을 요청한다고 해도 시간이 얼마나 걸릴지 예측하기 어렵다. 시행령 제24조에 따르면 확인 기한은 ‘30일 이내’로 규정되어 있지만, 3일 연장이 가능하고 경우에 따라 재확인까지 요구할 수 있다. 최대 3개월까지 지연될 가능성이 있어, 사업자가 소요기간을 예측하기 어렵고 사업 일정을 수립하거나 추진하는 데 있어 차질이 발생할 수 있다는 우려다.

시행령에서는 절차상 사전에 자율적으로 판단하는 결과 제출만을 요구한다는 점에서 불필요한 이중부담을 초래하는 모순이라는 지적이다.

현장의 목소리에 대해 정주연 스타트업얼라이언스 전문위원은 “기업들 입장에서 가장 리스키한 부분은 고영향 AI에 해당되는지 여부일 것”이라며 “현재 마련된 하위법령대로라면 고영향 AI 판단 기준이 여전히 모호하고, 특히 오픈소스 모델의 경우 개발자가 의도하지 않았더라도 이용 과정에서 고영향 AI에 해당할 가능성이 있다”고 설명했다. 이어 “그럼에도 불구하고 이용자 책임은 없이, 개발자에게만 과도한 책임이 집중될 수 있다는 우려가 존재한다”이라고 덧붙였다.

문제2: 어디까지가 AI인가

기본법 제2조 제1호 및 제2호에 따르면, ‘AI’란 학습, 추론, 지각, 판단 언어의 이해 등 인간이 가진 지적 능력을 전자적 방법으로 구현한 것이다. ‘AI 시스템’은 다양한 수준의 자율성과 적응성을 가지고 주어진 목표를 위해 실제 및 가상환경에 영향을 미치는 예측, 추천, 결정 등 결과물을 추론하는 AI 기반 시스템을 말한다.

정부가 정의한 AI에 대해 김 교수는 “OECD가 업데이트한 AI 정의를 반영한 것으로 보이지만, AI 시스템의 의미를 사실상 거의 모든 소프트웨어 시스템으로 확장하는 결과를 초래했다”고 목소리를 높였다.

비유하자면 ‘자동차’를 규제하는 법을 만드는데, 그 법에서 ‘자동차’를 ‘바퀴 달린 모든 것’이라고 정의해버린 것과 비슷하다. 법안에서는 AI 시스템으로 불리기 위해 필요한 최소한의 자율성이나 적응성 수준을 정해두지 않았다. 따라서 스스로 학습하고 발전하는 복잡한 AI와 사람이 정해준 규칙만 따르는 단순한 프로그램이 똑같이 ‘AI’라는 이름으로 묶인다.

문제3: 연산량 기반 안전성 확보 의무

과기정통부는 고성능 AI 대상의 기준을 누적연산량이 10의 26 제곱 부동소수점 연산(FLOPs) 이상인 AI 시스템 중 최첨단 기술을 적용한 AI 시스템으로 정했다. 해당 기준 이상인 AI시스템의 AI사업자는 안전성 확보 의무를 이행해야 한다.

EU의 AI 법(AI Act)은 10의 25 제곱 FLOPs 이상을 사용한 모델은 ‘시스템적 위험’을 초래하는 고위험 모델로 간주되며 추가적인 규제를 받는다. 하지만 김 교수는 이러한 기준에 타당성이 부족하다는 의견이다.

먼저 연산량만으로 위험성을 판단할 수 있을까? 김 교수는 모델의 위험성이 단순히 연산량뿐만 아니라 애플리케이션의 맥락, 모델 구조, 학습 데이터의 품질 등 다양한 요소에 의해 결정된다고 짚었다.

다른 이유는 FLOPs 기준의 설정이 비과학적이라는 점이다. 연구에 따르면, 연산량이 적은 모델도 특정 조건에서는 대형 모델보다 더 높은 위험을 보이고 성능에서도 우수할 수 있음이 밝혀졌다. 그러면서 애초에 성능 기준이 정치적 타협의 결과라고 비판했다.

연산량 기준은 프랑스와 독일 스타트업을 보호하기 위한 결과라는 분석이다. 협상 과정에서 10의 25 제곱 FLOPs 이하 모델은 ‘시스템적 위험’으로 간주되지 않도록 로비를 벌였고, 결과적으로 객관적인 기준 없이 특정 기업을 보호하기 위한 방식으로 규제가 결정되었다는 배경이다.

연산량 기준을 시행령에서 규정하는 것도 문제다. 김 교수는 “연산량 기준이라도 제시한 EU AIA(AI Act)와는 달리 아예 그러한 기준을 통째로 시행령에 위임한바, 이러한 법률에서 정할 규제적 사항을 대통령령에 포괄위임한 것으로 이 조문 자체는 포괄위임금지원칙 위반”이라고 강도 높게 비판했다.

이 외에 ▲의무대상이 되는 사업자와 보호 대상이 되는 이용자의 개념 혼재 ▲투명성 의무 이행을 위한 기술적 조치의 불완전 ▲스타트업 등 소규모 기업이 준수하기에는 지나치게 복잡하고 이행하기 어려운 기술문서 및 템플릿 등 우려를 제기했다.

그렇다면 현실적인 방안은?

AI 기본법의 유용성을 높이면서 리스크를 줄이는 가장 현실적인 방안으로 김 교수는 “시행령을 통해 명확성을 제고하고, 시행의 범위를 조율해야 한다”고 조언했다.

이를 위해 고영향 영역에 해당되더라도, AI 시스템이 예외적으로 비(非)고영향 AI 시스템으로 간주될 수 있는 조건에 대한 기준을 만들어야 한다. 그러한 기준은 ▲의도된 목적이 고영향(위험)이 아님이 명확한 경우 ▲결과에 대한 수정이 가능한 경우 ▲업계에서 스스로 정한 자율적 기술/관리 기준을 준수한 경우 ▲단지 학문 예술적 표현을 위한 목적인 경우 등이 될 수 있다. 이어 고영향으로 분류되더라도 해제될 수 있는 요건도 구체화할 것을 제시했다.

다음은 고영향 AI 사업자 판단 절차를 구조적으로 바꿔야 한다. 현재는 스스로 고영향 사업자임을 입증하고 책임져야 하는 구조다. 해당 방식을 바꿔, 정부는 해당 사업이 고영향에 해당되는지에 대해 사전 체크리스트를 구체적으로 제시해야 한다는 뜻이다. 체크리스트는 공통 기준과 영역별 추가 기준으로 구분하고, 고영향인지 모호한 경우 고영향이 아닌 것으로 추정하는 방안을 고려할 수 있다.

모호한 경우 정부가 고영향에 해당되지 않기 위한 요건을 제시할 필요가 있다는 의견을 더했다. 뿐만 아니라 고영향 AI라고 확정할 경우, 사업자가 이의제기 또는 재평가 요구권을 보장할 필요성이 있다고 덧붙였다.

AI 시스템 범위도 조정이 필요하다. 예측가능한시스템인 결정론적 소프트웨어를 제외하고, 특정 수준 이상의 자율성과 적응성으로 범위와 기준을 시행령에서 구체화해야 한다. 결정론적 소프트웨어는 계산기처럼 동일한 값(2+2)을 입력하면 누가 입력해도 항상 같은 결과값(=4)을 내놓는 소프트웨어다. 다른 결과가 나올 가능성이 없고, 작동 방식과 결과가 명확한 규칙에 따라 정해져 있다.

명확한 AI 시스템 범위 조정을 위해 김 교수는 “AI 시스템의 정의에 대한 세부지침을 마련해야 할 것”이라며 “EU에서 지난 7월 18일 발표한 GPAI 모델의 정의 등이 참조될 수 있다”고 제안했다.

이어 스타트업 등 소규모 기업의 요구사항을 고려해, 간소화된 방식으로 준수할 수 있는 안전 시스템 요소에 대한 기준을 제시해야 한다고 말했다. 기준은 계속 업데이트 되어야 하고, 중소기업 요구에 맞춰 단순화된 방식으로 수행할 수 있도록 템플릿을 개발하는 등 행정적 부담을 줄여야 한다는 분석이다.

AI 기본법은 개념 정의에서 개발사업자와 이용사업자를 구분하고 있다. 하지만 법문에서는 일률적으로 AI 사업자라는 용어를 사용하고 있다. 따라서 김 교수는 “이는 입법의 실수로 오인될 수 있으며, 법률의 신뢰성 흠결을 야기한다”며 “시행령에서는 개발사업자와 이용사업자를 구분해 해당 주체별 의무 사항을 구분할 필요가 있다”고 꼬집었다.

사업자와 이용자를 구분하는 기준 역시 명확히 해야 한다. 법안에서 이용자는 AI 제품 또는 서비스를 제공받는 자를 말한다. 이러한 규정은 최종 이용자와 이용 사업자의 개념이 혼동된다.

예를 들어, 워터마크 표시의무는 사업자에게 부과된다. 웹툰 제작사가 웹툰에 AI 창작물을 사용하는 경우, ‘이용자’인지 혹은 AI 제품을 이용한 ‘이용사업자’인지 모호하다.

따라서 의무대상자의 불명확성은 시행령에서 확실히 해야 한다는 입장이다.

마지막으로 김 교수는 투명성 의무와 관련해, 고지 또는 표시의 방법 및 그 예외의 범위를 폭넓게 규정할 필요가 있다고 이야기했다. 투명성 확보 의무는 생성형 AI에 의해 생성한 창작물이 실제와 구분하기 어려운 음향, 이미지, 영상 등이라면 해당 사실을 표시하도록 규정하는 의무다.

하지만 머신러닝을 사용해 AI 산출물 여부를 판단하는 기술적 수단 등에는 많은 오류가 있는 상황이라는 지적이다. 이에 따라 인간 생성과 구분할 수 있는 기술적 수단이 완비되지 않은 현재 상황에서 기술적 조치가 불완전하다고 덧붙였다.

그러므로 학문, 예술적·창의적 표현물에 해당하거나 그 일부를 구성하는 경우, 투명성 의무 예외 규정을 마련할 것을 제시했다. 또, 업계 스스로 정한 자율적 고지, 표시 방식을 준수한 경우에도 예외 사유를 인정하는 등 방안을 고려할 수 있다.

AI 기본법이 ‘뼈대’라면 시행령과 가이드라인은 ‘살’로 구체화되어야 하지만, 여전히 모호한 부분들이 많다는 지적이다. 하위법령이 나왔지만 기업들이 사실상 이해하고 준비할 시간이 없어 대처가 어려운 상황이다.

따라서 정주연 위원은 “AI 기본법은 내년 1월에 시행되지만 하위법령을 공개하고 의견수렴하는 과정이 너무 촉박하다”며 “10월 달 입법예고까지 불과 몇 달밖에 남지 않은 상황에서 기업들이 법을 충분히 이해하고 대비하기에는 시간이 너무 부족하다”고 목소리를 높였다.

그는 이어 “과태료 계도기간 운영이 금전적 부담을 덜어주는 효과는 있겠지만, 사실 조사 단계에서부터 이미 ‘문제가 있는 기업’이라는 낙인이 찍힐 수 있다”며 “이 과정에서 기업의 자원이 과도하게 투입되고, 정보 과정에서 주요 기밀이 외부로 노출될 위험도 있어, 규제 완화라는 취지와는 달리 기업들에게는 실질적인 도움이 되지 않을 수 있다”고 설명했다.

기업 입장에서는 과태료 계도기간 운영이 금전적 부담을 줄여주는 효과가 있을 수는 있으나, 여전히 우려가 크다는 의견이다. 정부가 공개한 계도기간 적용 프로세스는 위반 사항을 인지하면 사실조사를 진행하고, 위반사실을 확인한다. 이후 시정명령이 이뤄지고 이행하지 않으면, 행정 지도 및 안내 조치로 과태료를 부과하지 않는 계도를 적용하는 방식이다.

정 위원은 “전체적으로 충분한 검토 시간이 보장되는 것이 가장 바람직하지만, 그것이 어렵다면 최소한 기업들에게 실질적으로 도움이 될 수 있는 대안을 마련해야 한다”며 “기업들이 가이드라인이나 시행령을 기준으로 준수했을 때 법령을 충실히 지켰다는 신뢰가 확보될 수 있도록 불명확한 부분들은 반드시 해소해야 한다”고 강조했다.

글. 바이라인네트워크
<최가람 기자> ggchoi@byline.network