딥브레인AI, 생성형 AI 악용 막는 ‘AI 가드’ 개발

생성형 인공지능(AI) 전문 기업 딥브레인AI(대표 장세영)는 인물 도용 판별, 유해 입력 차단, 딥페이크 판별까지 생성형 AI의 악의적 활용 위험을 통합 관리하는 안전 엔진 ‘AI 가드’ 개발을 완료했다고 12일 밝혔다.

AI 가드는 ▲이미지·영상 속 인물이 보호 대상으로 등록된 인물인지 확인하는 ‘페이스 아이디(Face ID) 판별’ ▲유해 콘텐츠 생성을 유도하는 텍스트와 이미지를 걸러내는 ‘악의적 입력 필터’ ▲이미지·영상의 합성 여부를 분석하는 ‘딥페이크 판별’까지 3가지 기능으로 구성된다.

각 기능은 동일한 인증 체계와 응답 규격을 사용하는 총 10종의 응용 프로그램 인터페이스(API)로 제공된다. 이에 기업과 기관은 서비스 환경과 필요에 맞춰 원하는 기능을 선택적으로 연동할 수 있다.

공공기관, 금융·교육 현장에서 활용되고 있는 기존 ‘AI 디텍터’가 이미지와 영상 딥페이크 여부 판별에 특화된 별도 탐지 솔루션이라면, AI 가드는 적용 범위를 콘텐츠 생성 과정 전반으로 확장한 통합 안전 엔진이다.

AI 가드의 핵심은 생성형 AI 콘텐츠 제작 과정에서 생성 전후를 나눠 이중으로 검사하는 구조다. 이용자가 입력한 프롬프트와 참조 이미지를 검사해 명백한 위반 요소를 사전에 차단한다. 생성된 이미지와 영상을 다시 확인해 입력 단계에서 식별하지 못했거나 생성 과정에서 발생한 문제까지 점검한 뒤 이용자에게 결과물을 제공한다.

검사 과정에서 오류가 발생한 요청을 자동 통과시키지 않는 안전장치도 적용했다. 모델 응답 과정에서 문제가 생기거나 처리 시간이 초과되면 안전하지 않은 것으로 간주하고 차단한다. 판정 실패로 인한 유해 콘텐츠 유출 가능성을 낮췄다.

AI 가드의 주요 성능은 2025년 10월 한국인정기구(KOLAS) 인정 시험기관인 와이즈스톤에서 소프트웨어 품질 국제표준 KS X ISO/IEC 25023에 따라 시험을 거쳤다. ▲합성 여부 판별 정확도 ▲악의적 생성 유도 입력 차단 오차율 ▲특정 인물 인식 정확도 등 3개 항목이 과제 기준을 충족했다. 특히 합성 여부 판별 정확도는 96%를 기록했다.

기업·기관의 보안 환경을 고려해 고객사 내부 인프라에서도 운영할 수 있도록 설계했다. 판별에 활용되는 언어모델과 안전 분류 모델을 외부 상용 API 호출 없이 자체 그래픽처리장치(GPU)에서 구동해 검사 대상 프롬프트와 이미지 등을 외부로 전송하지 않는 환경 구축을 지원한다. 딥브레인AI는 이미 콘텐츠 생성 플랫폼 사업자와 공공기관을 대상으로 AI 가드 공급을 시작했다.

장세영 딥브레인AI 대표는 “생성형 AI 서비스에서 안전장치는 부가적인 기능을 넘어 안정적인 서비스 운영을 위한 기본 요건”이라며 “AI 가드의 주요 성능을 공인 시험을 통해 확인한 만큼, 기업과 기관이 자체 인프라 안에서 생성형 AI의 악용 위험을 체계적으로 관리할 수 있도록 기술 적용 범위를 지속 확대해 나가겠다”고 밝혔다.

한편, AI 가드는 문화체육관광부와 한국콘텐츠진흥원이 지원하는 문화기술 연구개발(R&D) 사업 ‘악의적 활용을 차단하는 생성형 AI 모델을 탑재한 콘텐츠 창작 및 공유 플랫폼 기술 개발’ 과제 수행으로 개발됐다. 한국전자기술연구원이 주관하고, 딥브레인AI가 공동연구개발기관으로 참여했다.

글. 바이라인네트워크
<이유지 기자>yjlee@byline.network