[커머스BN] “음식이 안 익었어요” 생성형 AI ‘악용’ 리뷰 어쩌나

이 외에도 악용 사례는 여럿입니다. 해외 SNS에는 ‘어떻게 하면 배달앱에 환불을 받을 수 있는지’라는 제목으로, 생성형 AI를 활용해 닭다리가 덜 익은 것처럼 보이도록 하거나, 멀쩡한 음식 옆에 파리를 만드는 식의 프롬프트를 공유하는 사례가 나타났습니다.

​이런 문제는 국내도 예외가 아닐 것으로 보입니다. 배달앱 업계에 따르면, 아직 확실한 증거는 없지만 생성형 AI로 리뷰 사진 조작으로 의심되는 사례가 하나둘씩 나오고 있다고 합니다. 기술이 발전할수록 진짜 사진인지 아닌지 판단하기 어려워질텐데, 죄없는 피해자들이 나올 수도 있을 것 같습니다.

​국내 플랫폼은 이런 문제에 어떤 대응 준비를 하고 있을까요? 아직은 기술적 대처보다는 업무 프로세스를 통해 문제에 대처하는 상황입니다.

​배달의민족은 “이슈가 발생하면 고객으로부터 사진 등을 받아 업주에게 사실관계를 확인한다”면서 “허위나 조작 리뷰로 인한 피해가 발생하지 않도록 조치하고 있다”고 설명했습니다.

​요기요 또한 비슷합니다. 요기요 관계자는 “생성형 AI를 활용한 이미지 뿐만 아니라 다양한 케이스가 많아 내부에서 검수를 한 후 어뷰징 리뷰나 사진으로 판단할 경우, 내부 고객만족팀에서 일괄 맡아서 조치를 취하고 있다”고 설명했습니다. 쿠팡이츠는 AI 악성 리뷰에 대한 대처를 내부적으로 준비하고 있다고만 설명했습니다.

​로컬 서비스를 하는 지도 앱도 비슷합니다. 네이버 지도 측은 “서비스 품질을 유지하고 사용자 보호를 하기 위해, 운영 정책은 물론, 기술적 조치 및 모니터링을 강화하고 있다”며 “특히, 리뷰 어뷰징 사례를 MY플레이스 이용약관 내 명기하고 시스템 및 인력 모니터링을 상시 진행하고 있으며 매년 다양한 어뷰즈 모듈을 추가하여 모니터링 시스템을 고도화하고 있다”고 설명했습니다.

​카카오맵 또한 “GPS에 기반해 실제 방문한 경우의 인증 후기를 상단에 올리고, 부정 리뷰가 비정상적으로 늘어날 경우 후기 셧다운 정책을 운영하며, 업주들이 댓글 가림 처리나 신고 처리를 조금 더 쉽게 할 수 있도록 시스템을 개선하고 있다”고 밝혔습니다.

​이처럼 배달 및 로컬 서비스 업체들은 아직 기술적 대처까지는 하지 않고 있는 것으로 보입니다. 하지만 생성형 AI의 이미지 생성이 워낙 실제와 구분이 어렵기 때문에 앞으로는 사람의 육안으로는 AI 생성 이미지를 구별하기는 어려울 가능성이 높습니다.

​페이스북, 인스타그램,틱톡 등 글로벌 소셜미디 업체들은 기계적으로 AI 이미지를 걸러 내려는 시도를 하고 있습니다.

​아직 배달앱 등에서 AI 이미지를 걸러내지 못하는 것은 데이터 부족에 기인합니다. AI로 조작된 음식 이미지 데이터가 많아야 학습을 할 수 있는데, 아직은 그런 데이터가 적다고 합니다. 포토샵을 통한 조작 이미지는 데이터가 많이 쌓여있는 반면, AI 생성 음식 이미지 데이터는 많지 않다는 거죠.

​반면 AI를 활용한 사진 조작은 상황이 다릅니다. 플랫폼별로 AI 기술별의 특성이 담긴 데이터를 많이 확보하지 못한 상황으로 전해졌습니다. 딥페이크 탐지 솔루션 등을 운영하고 있는 딥브레인AI 관계자는 “시장에 신기술의 결과물을 탐지하려면 이 기술이 적용된 데이터가 필요한데, 다량의 데이터를 축적해 탐지 모듈을 만든 후 검증하려면 시간이 걸린다”며, 탐지는 기술 발전보다 늦을 수밖에 없다고 설명했습니다. 또 “AI를 통한 조작 사진과 사람이 포토샵 등으로 직접 조작한 사진 또한 경우가 달라 기존 탐지 기술로는 조작을 감지하기 어렵다”고 덧붙였습니다.

글. 바이라인네트워크
<성아인 기자> aing8@byline.network