적용범위 구체화하고 모호성 완화…AI 기본법 하위법령 초안 살펴보니

내년 1월 시행을 앞둔 ‘인공지능(AI) 발전과 신뢰기반 조성 등에 관한 기본법(이하 AI 기본법)’의 밑그림이 될 하위법령 제정방향이 공개됐다.

과학기술정보통신부(이하 과기정통부)는 기존 법률의 모호함으로 지적됐던 AI 기본법 적용 범위를 구체화하고, AI 생성물 표시 의무, 고성능·고영향 AI 규정 및 의무에서 불확실성을 줄이는 데에 중점을 뒀다. 9월 말까지 추가적인 의견수렴을 거친 뒤, 10월 중 입법예고 이후 연내 시행령 및 가이드라인 정비를 완료할 계획이다. 우선 규제 진흥에 무게를 두고 기업 부담을 줄이기 위해 과태료 유예기간을 운영할 방침이다.

하위법령 공개에 앞서 과기정통부는 국가 AI 경쟁력 강화라는 제정 취지와 해외 동향을 고려해 필요최소한의 규제 사항만을 포함한 시행령 초안을 마련했다고 강조했다.

하위법령 주요 내용은?

우선 적용범위를 구체화했다. 국방 및 국가안보 목적으로만 이용되는 AI는 AI 기본법 적용 대상에서 제외된다. 유럽연합(EU)의 AI 법에서도 국가안보 등 목적의 경우는 적용을 예외한다는 점을 고려했다.

최근 출범한 국가AI전략위원회 명칭이 기존 국가AI위원회에서 변경된 점을 반영하고, 기능 강화를 위한 설치규정을 반영해 추진한다. 국가AI전략위 기능에 부처간 정책 조정과 이행점검, 성과관리 사항을 추가했다. 또, 최고AI책임자(CAIO) 및 CAIO협의회 운영 근거를 마련했다.

AI 산업 육성 측면에서 정부 지원 근거 규정을 마련했다. ▲연구개발(R&D) ▲학습용 데이터 구축 ▲AI 기술 도입 및 활용 등에 시행령에서 대상과 기준, 내용을 구체화했다. AI 집적단지 및 전담기관 지정, 실증 기반 구축 및 개방 등 산업육성을 위한 제도의 절차와 기준도 구체화한다.

기존 모호함으로 인해 우려가 컸던 ▲투명성·안전성 확보 의무 ▲고영향 AI 확인·사업자책무 ▲AI 영향평가 등 AI 안전과 신뢰 부분에서는 불확실성 완화에 주력했다.

투명성 확보 측면에서 생성형 및 고영향 AI 이용자에 대한 사전고지와 최종 AI 생성 결과물에 워터마크 표시 의무를 부여하고 있다. 여기서 의무 이행 방법과 예외 사항을 구체화했다.

구체적으로 약관이나 UI를 활용한 사전고지를 인정한다. 또, 눈에 보이지 않는 비가시적 워터마크 사용을 인정한다. 해당 워터마크는 오픈AI나 마이크로소프트 등이 활용하고 있으며, AI로 만든 이미지에 암호화된 메타데이터를 첨부하는 콘텐츠 자격증명 방식이다.

이미지나 동영상, 오디오 등 콘텐츠 유형별로 표시 방법과 예시를 제공할 예정이다. 동영상과 오디오 등은 콘텐츠 맨 앞부분에서 AI 생성 결과물임을 안내하는 방식 등 기업이 활용할 수 있는 구체적 방안을 소개할 방침이다.

딥페이크의 경우, 이용자의 연령과 신체적 조건 등을 고려해 고지 및 표시한다. AI 활용 사실을 쉽게 확인할 수 있는 방법으로 고지 및 표시해야 한다.

다만, 생성형 및 고영향 AI 활용이 명백한 경우나 사업자 내부 업무용으로만 이용하는 경우 투명성 의무가 면제된다. 기술발전 등을 고려해 향후 고시를 통해 예외를 추가할 수 있도록 근거를 마련할 방침이다.

안전성 확보 조치에서는 고성능 AI 대상의 기준을 명확화했다. 국제 규범 동향을 고려해, 대상은 누적연산량이 10의 26 제곱 부동소수점 연산 이상인 AI 시스템 중 최첨단 기술을 적용한 AI 시스템으로 정했다. 최첨단 기술을 적용한 AI 시스템은 글로벌 AI 기술 동향을 고려할 때, 최고 수준의 기술이 적용된 고성능 AI 시스템을 의미한다. 기준에 해당하더라도 사람의 생명, 신체의 안전, 기본권에 광범위하고 중대한 영향을 미칠 수 있는 시스템이어야 한다.

AI 시스템 수명주기 전반에 걸친 안전 확보 의무는 ▲위험식별(기능오류, 데이터편향, 악용 등) ▲위험평가(위험 중대성, 위험 실현가능성, 영향의 심각성 및 빈도 등) ▲위험제거 및 완화(시급성, 조치의 실행가능성 등)으로 구분된다. 원칙적으로 AI 시스템을 개발한 개발사업자가 의무를 부담한다. 혹은 실질적인 변경을 가해 대상에 해당하게 한 경우, 그 변경을 가한 AI 사업자가 의무를 부담하도록 했다.

고영향 AI 해당 여부에 대한 영역별 판단 기준도 명확히 했다. 고영향 AI는 생명, 신체, 기본권에 중대한 영향을 미치거나 위험 초래 우려가 있는 AI 시스템이다. 주로 에너지, 보건의료, 원자력, 교통, 교육 등 특정 영역에 활용된다.

구체적 이행 방안은 위험관리방안과 이용자 보호 방안이다.

규정에 따라 사업자는 AI 수명주기를 고려한 위험관리조직을 구성해 위험관리체계를 수립하고 운영해야 한다. 사업자의 규모 등을 고려해 겸임 인력을 지정하거나 담당 조직을 별도로 구성하는 것도 가능하다. 기술적으로 가능한 범위에서 고영향AI의 최종 결과 도출에 관한 주요 기준 등 서령 방안을 수립해 시행해야 한다. 이를 위한 AI 개발 및 활용에 사용된 학습용 데이터의 개요를 관리해야 한다.

이용자 보호에 있어 사용자는 AI 개발 과정에서 적법하고 안전하게 데이터를 수집 및 관리해야 한다. 안전한 알고리즘을 설계하고 시스템을 개발해야 한다. 다양한 위험에 대비한 충분한 평가를 수행해야 한다. 운영과정에서 이용자를 보호하기 위한 모니터링과 대응 방안 수립하고, 이용자 피드백 체계를 운영한다. 피해 발생 시 보상 방안 마련도 필요하다.

과기정통부는 기본권에 중대한 영향을 미치는 시스템으로 규정한 만큼, 고영향 AI 해당 여부 판단 시 ▲사용영역 ▲기본권에 대한 위험의 영향·중대성·빈도 ▲활용 영역별 특수성 등을 종합적으로 고려해 판단할 예정이다. 영역별 소관 부처와 협업 하에 영역별 특수성을 고려한 고영향 AI 판단 기준을 확정한다.

고영향 AI 판단 가이드라인으로 영역별 예상 시나리오를 기반으로 판단할 수 있도록 예시를 제공한다. 예시로 “AI 기관이 운영하는 AI 기반 자율형 송전 제어 시스템은 전력망에서 전력의 송전을 인간의 제어 없이 완전히 자동으로 제어하고 있다”를 고영향 AI 판단 사례로 제공했다. 이외에 오작동 시 잠재적 위험성 등 세부적 판단 고려사항과 영역별 중대한 영향이나 위험 초래 사항을 기술했다.

고영향 AI의 영역 추가는 기술 발전과 국내 AI 활용 확산 등을 종합 고려해 향후 추가 필요성을 신중히 검토할 계획이다.

AI 영향평가에서는 AI 제품 및 서비스 제공 시 사람의 기본권에 미치는 영향 평가를 실시할 수 있다. 기본적으로는 사업자가 자율적으로 실시한다. 고영향 AI에 대해선 영향평가 실시 노력의무를 뒀다. 영향평가에 포함할 사항은 ▲영향받는 대상 식별 ▲관련 기본권 유형 식별 ▲사회경제적 영향 내용 및 범위 파악 ▲AI 사용 행태 분석 ▲평가지표 활용 ▲위험 예방 및 손실복구 등에 관한 사항 ▲개선 방안 등을 반영해 수행해야 한다. 제3자에게 위탁 수행도 가능하다.

국내대리인 지정 사업자 기준은 ▲전년도 매출액 1조원 이상 ▲AI 서비스 부문 매출액 100억원 이상 ▲일 평균 국내 이용자 수 100만명 이상 ▲AI 서비스 관련 사고로 자료 제출을 요구받은 경우로 정했다. 해당될 수 있는 해외 빅테크 기업은 구글(제미나이), 오픈AI(챗GPT), 메타(페이스북, 인스타그램 외) 등이 있다.

혼란 줄이기 위해 과태료 계도기간 운영

시행이 약 4개월 남짓 남은 만큼, AI 기본법 시행 초기 기업들의 혼란을 최소화하기 위해 과태료 계도기간을 운영한다. 실질적으로 규제 유예와 동일한 효과를 가진다.

과태료는 ▲투명성 확보 관련 사전고지 미이행 ▲일정 기준 이상 해외사업자의 국내대리인 미지정 ▲AI 기본법 위반에 따른 시정명령 미이행 시 3000만원 이하 부과다.

사업자가 위반 사항을 인지하면, 사실 조사를 실시하고 위반사실을 확인한다. 이후 시정명령이 이뤄지며 명령 미이행시 계도를 적용한다. 과태료를 바로 부과하지 않고, 행정지도 및 안내 조치를 진행한다. 구체적인 계도기간은 의견수렴을 통해 확정할 예정이다.

안전, 신뢰성 검증과 영향평가에 대해선 컨설팅 및 비용 지원이 이뤄진다. 기업 부담을 줄이고, 인센티브를 부여해 자발적 참여를 유도할 방침이다. 이를 위해 2026년도 안전·신뢰 검·인증 및 AI 영향평가 관련 지원 예산을 20억 이상 확보했다는 설명이다. 또, 고영향 AI 확인과 투명성 확보 이행 등 사업자 의무이행도 지원한다.

의견수렴 거쳐 연내 시행령 제정 및 가이드라인 공개

과기정통부는 산학연 및 시민단체 등 이해관계자를 대상으로 하위법령 주요 내용을 설명하고 의견수렴을 이어갈 계획이다. 9월 말까지 관계부처, 이해관계자 대상으로 진행해 하위법령을 보완한다. 미국 등 해외 기업과 투명성 확보 의무를 지닌 콘텐츠 업계 대상으로 추가 의견수렴도 추진한다.

이해관계자 의견수렴 결과를 바탕으로 10월 중에 입법예고를 진행한다. 규제심사, 법제처 심사 등 AI 기본법 하위법령의 행정입법 절차를 진행한다.

12월에는 입법예고 기간 동안 수렴된 의견을 반영한 시행령을 제정 완료하고 가이드라인 완성본을 공개할 예정이다. 가이드라인은 과태료 계도기간과 해외 규제 동향 및 수준을 고려해 지속적으로 고도화할 계획이다.

글. 바이라인네트워크
<최가람 기자> ggchoi@byline.network