“생성AI 콘텐츠 유해성 점수로 표기”…애저 AI 콘텐츠 세이프티 출시

생성 인공지능(AI)가 만든 결과물의 유해성을 판단하는 솔루션이 나왔다. 무분별한 활용에 따른 유해 콘텐츠가 문제로 불거지는 가운데, 이를 막기 위한 노력이다.

마이크로소프트는 18일 애저 AI 콘텐츠 세이프티(Azure AI Content Safety)를 출시하고 안전한 온라인 환경과 콘텐츠를 만드는 책임 있는 AI 생태계 확장에 나선다고 밝혔다.

지난 5월 마이크로소프트는 연례 개발자 컨퍼런스를 통해 애저 오픈AI 서비스의 일부로 애저 AI 콘텐츠 세이프티를 소개한 바 있다.

이번에 공식 출시된 애저 AI 콘텐츠 세이프티는 증오나 폭력 등 잠재적으로 유해한 콘텐츠를 감지, 이를 심각성 점수로 표시한다. 이를 통해 기업과 조직은 내부 정책에 근거해 유해 콘텐츠를 차단하거나 플래그 표식 등으로 서비스를 맞춤화할 수 있다.

일례로 콘텐츠 사용 목적과 사례에 맞춰 세분화된 검수 기준을 설정할 수 있다. 예를 들어 게임에 중점을 둔 플랫폼이 학생 교육용 콘텐츠를 제작할 경우라면, 폭력성이나 유해성에 대한 언어 표현 수준을 다르게 설정할 수 있다.

애저 AI 콘텐츠 세이프티는 독립적인 실행이 가능한 시스템으로, 오픈소스 모델과 여타 모델에서 생성된 AI 콘텐츠에도 적용할 수 있다. 마이크로소프트는 이를 통해 많은 기업과 조직이 안전한 AI 콘텐츠 사용 환경을 제공할 수 있을 것으로 기대한다.

에릭 보이드(Eric Boyd) 마이크로소프트 AI 플랫폼 담당 기업 부사장은 “이미 많은 기업이 생성AI의 가치와 역량을 경험하기 시작했다”며 “마이크로소프트는 애저 AI 콘텐츠 세이프티를 통해 더욱 다양한 비즈니스 요구 사항을 가진 고객들에게 보다 안전한 생성AI 사용 환경을 지원할 것”이라고 밝혔다.

글. 바이라인네트워크
<이진호 기자>jhlee26@byline.network