유니티 슈퍼소닉, ‘확 달라진 A/B 테스트’ 등 주요 업데이트
실시간 3D 콘텐츠 제작 및 성장 플랫폼 유니티(Unity)는 하이퍼 캐주얼 게임 퍼블리싱 솔루션 슈퍼소닉(Supersonic from Unity) 플랫폼에 신규 A/B 테스트 페이지 및 ‘전체 게임 페이지’ 등 두 가지 주요 업데이트를 실시했다고 10일 발표했다.
해당 업데이트를 통해 개발자들은 더 정확한 A/B 테스트를 실행하여 KPI(핵심평가지표) 성능을 향상할 수 있으며, 데이터에 대한 즉각적 시각화를 제공받음으로써 실행에 옮기기에 앞서 한층 정교한 정보를 기반으로 게임 성장과 관련된 큰 그림을 예단할 수 있게 됐다.
주된 변화는 A/B 테스트 페이지가 새롭게 추가된 점이 핵심이다. 테스트를 진행하는 과정에서 이상값과 소규모 대상 그룹으로 인해 테스트가 부정확할 수 있음을 인식해 결과치를 분석 및 표시할 때 더욱 광범위한 테스트 상태를 고려한다. 즉, 개발자에게 평균 결과가 아닌 전체 테스트 결과와 통계적 중요성을 보여줌으로써 데이터에 기반한 보다 정확한 의사 결정을 내릴 수 있다.
개발자들은 목표 KPI와 필요한 오류율 및 변형 양 등을 고려해 특정 테스트에 필요한 대상 오디언스(이용자) 규모를 이해할 수 있다. 통계적으로 중요한 수준까지 도달하는 데 필요한 날짜와 사전에 정해 둔 목표를 달성한 이용자 수에 대한 인사이트와 결합해 유형별 테스트를 진행할 수 있다.
테스트 결과의 통계치도 표시된다. 평균 결과 대신 전체 결과 범위가 표시되며, 이를 통해 주요 결과에 대한 명확한 가시성을 확보할 수 있을 뿐만 아니라 이상치를 제거함으로써 보다 정확한 의사 결정을 내릴 수 있도록 데이터 지표를 지원하는 것이 특징이다.
유니티 슈퍼소닉은 이번 업데이트가 기존 A/B 테스트 방식의 틀을 완전히 재편한 수준으로, 콘텐츠 개발 판도를 바꿀 것으로 기대했다. 주요 KPI에 통계적 변화가 나타나지 않아 테스트 진행 여부에 어려움을 겪는데, 이 같은 현업의 애로사항을 해결했다고 보기 때문이다.
개발자는 채널 및 코호트(동질집단) 기간별로 나누어진 CPI, 게임 플레이 시간, 잔존율, 객단가(ARPU) 등 기타 30개의 지표 중에서 개발자가 원하는 KPI를 선택할 수 있다. 테스트 대상 규모가 충분하지 않거나 부수적 효과로 잘못된 판단을 내리지 않도록 다양한 사용자 정의 보기를 생성하고 지표에 대한 통계치와 관련 영향을 확인하면서 개발을 진행할 수 있다.
유니티 슈퍼소닉에서 게임 개발자들을 위해 선보인 신규 A/B 테스트 페이지 및 모든 게임 페이지 주요 업데이트와 관련한 내용은 슈퍼소닉 공식 홈페이지를 통해 확인할 수 있다.
글. 바이라인네트워크
<이대호 기자>ldhdd@byline.network